자바 스크립트에 의해 비동기 적으로로드 된 HtmlAgilityPack 다운로드 웹 페이지

c# html-agility-pack javascript web-scraping

문제

내가 HtmlAgilityPack을 사용하고 일부 웹 페이지를로드하려고합니다. 일부 웹 페이지는 자바 스크립트 기반이며 비동기 적으로로드됩니다. x 초 후에 또는 페이지가 완전히로드되었는지 확인한 후에 웹 페이지를로드 할 수있는 방법이 있습니까?

인기 답변

Html Agility Pack은 콘텐츠를 동적으로 DOM에로드하기 위해 클라이언트 측 호출을 모방하지 않습니다. 서버가 제공하는 정적 페이지를 다운로드하는 헤드리스 스크래퍼입니다. 그 내용을 원하면 클라이언트 브라우저가 작성한 호출을 모방해야합니다. 브라우저가 호출하는 에뮬레이션을 시도하지 않으려면 헤드리스 스크래퍼를 사용하는 대신 Selenium 과 같은 것을 사용하면됩니다. 단점 이라면 브라우저가 호스트 시스템에서 열립니다.

Stack Overflow 에 대한 자세한 정보

Prime Library

Performance

Expression Evaluator

More Projects...

Related

아래 라이선스: CC-BY-SA with attribution

와 제휴하지 않음 Stack Overflow

이 KB는 합법적입니까? 예, 이유를 알아보십시오.

아래 라이선스: CC-BY-SA with attribution

와 제휴하지 않음 Stack Overflow

이 KB는 합법적입니까? 예, 이유를 알아보십시오.