HtmlAgilityPack下载由javascript异步加载的网页

c# html-agility-pack javascript web-scraping

我正在使用HtmlAgilityPack并尝试加载一些网页。一些网页是基于JavaScript的,并且异步加载。是否有任何方法可以在x秒后或确保页面完全加载后加载网页

热门答案

Html Agility Pack并不模仿客户端调用来动态地将内容加载到DOM中。这是一个无头刮刀正在下载服务器给出的静态页面;如果您需要该内容,则必须模仿客户端浏览器的调用。如果您不想尝试模拟浏览器所做的调用,而不是使用无头刮刀,您可以使用Selenium之类的东西为您执行此操作, 不利的是,浏览器将在主机上打开。



许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因
许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因