加载网页并在异步javascript完成后解析其html

c# html html-agility-pack html-parsing javascript

对于个人使用的.net项目,我正在尝试加载和解析skyscanner.net搜索结果页面。我知道Skyscanner有这些任务的API,但似乎没有免费的个人许可证可供使用。

问题是Skyscanner需要很长时间才能完成搜索过程,因此使用HtmlAgilityPack加载文档会导致页面没有我正在寻找的内容。

我尝试使用WebBrowser对象及其事件DocumentCompleted,但似乎在将实际搜索结果加载到页面之前触发了事件。

那么,有没有办法加载页面,等待javascript异步脚本完全填充页面,然后获取HTML解析?

热门答案

你可以使用PhantomJs 。我有这个问题,但没有找到解决我问题的方法。我在本文中使用PhantomJs并在10秒后获得加载页面。在我看来,您的问题的最佳解决方案是该条款。



许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因
许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因