在使用HTML Agility搜索所需數據後,如何從網頁中抓取數據

asp.net c# html html-agility-pack

我想從這個網站獲取信息

使用HTML Agility Pack進入我的ASPX頁面。但我不能這樣做,因為在我搜索網頁中的數據後加載了數據。

我需要在5分鐘的間隔後連續完成一些數據。

熱門答案

您提到的網站中的搜索結果是使用Javascript動態呈現的,數據來自Jax通過Ajax響應。 HtmlAgilityPack旨在解析Html,而不是Json。

考慮為.Net使用SeleniumiMacros驅動程序,或者為Microsoft Framework提供WebBrowser類。這些工具在後台運行瀏覽器,因此他們可以在該頁面中運行Javascript代碼並呈現您想要抓取的Html。

只需要設置適當的時間,所以他們會一直等到搜索結果出現在頁面上。



Related

許可下: CC-BY-SA with attribution
不隸屬於 Stack Overflow
這個KB合法嗎? 是的,了解原因
許可下: CC-BY-SA with attribution
不隸屬於 Stack Overflow
這個KB合法嗎? 是的,了解原因