我正在抓取一个使用Javascript动态填充Html Agility包网站内容的网站。
基本上,我正在搜索XPATH "\\div[@class='PricingInfo']"
,但是这个div节点是通过Javascript写入DOM的。
因此,当我通过Html Agility包加载页面时,无法找到上面提到的XPATH。
事实证明,在我要解析的特定脚本块之前有一个注释。
<!--Module 328 Buying Options Table-->
<script type="text/javascript" language="JavaScript">
var data = {
price: 30.00
}
</script>
对于这个站点,有很多脚本块,所以我需要通过找到这个自动生成的注释来缩小它<!--Module 328 Buying Options Table-->
和该节点的兄弟将是正确的脚本块。
有关如何搜索特定注释然后只是获取相邻脚本块的任何想法?
谢谢!
htmlDoc.DocumentNode.SelectSingleNode("//comment()[contains(., 'Buying Options')]/following-sibling::script")