如何加载动态生成的网页?

c# data-scrubbing html html-agility-pack

我正在尝试加载网页, http://www.artstation.com/artist/nicotine ,所以我可以擦除页面,不幸的是页面似乎是通过代码生成的,所以我要找的标签不可用。

使用以下内容加载它是行不通的,因为它只加载源javascript,而不是它生成的内容:

HtmlWeb htmlWeb = new HtmlWeb();
imagepage = htmlWeb.Load(http://www.artstation.com/artist/nicotine);

如何将页面加载到浏览器中显示的页面,以便我可以为标签擦除它?

热门答案

你不能使用HtmlAgilityPack。当HAP要求服务器为您提供页面文件时,此文件的内容尚未被Web浏览器解析/执行,因此其上的JavaScript尚未执行任何操作。

有一个解决方案。您可以使用seleniumphantomJs来获取动态生成的标签的内容。这些工具具有浏览器堆栈,它将执行JavaScript。您可以找到许多其他类似的工具和大量示例。




许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因
许可下: CC-BY-SA with attribution
不隶属于 Stack Overflow
这个KB合法吗? 是的,了解原因