HTML 민첩성을 사용하여 원하는 데이터를 검색 한 후 웹 페이지에서 데이터를 긁을 수있는 방법

asp.net c# html html-agility-pack

문제

이 웹 사이트 에서 정보를 얻고 싶습니다.

HTML 민첩성 팩을 사용하여 내 ASPX 페이지로 이동하십시오. 하지만 웹 페이지의 데이터를 검색 한 후에 데이터가로드되기 때문에 그렇게 할 수 없습니다.

나는 5 분 간격으로 연속적으로 수행 할 데이터가 필요하다.

인기 답변

언급 한 웹 사이트의 검색 결과는 자바 스크립트를 사용하여 동적으로 렌더링되며 데이터는 Ajax를 통해 Json 응답으로 제공됩니다. HtmlAgilityPack은 Json이 아니라 Html을 구문 분석하기위한 것입니다.

.Net 또는 WebBrowser 클래스 용 Selenium 또는 iMacros 드라이버는 Microsoft Framework를 사용하는 것이 좋습니다. 이 도구는 백그라운드에서 브라우저를 실행하므로 해당 페이지에서 Javascript 코드를 실행하고 html로 렌더링 할 수 있습니다.

적절한 시간 제한을 설정해야 검색 결과가 페이지에 표시 될 때까지 기다리게됩니다.



아래 라이선스: CC-BY-SA with attribution
와 제휴하지 않음 Stack Overflow
이 KB는 합법적입니까? 예, 이유를 알아보십시오.
아래 라이선스: CC-BY-SA with attribution
와 제휴하지 않음 Stack Overflow
이 KB는 합법적입니까? 예, 이유를 알아보십시오.