如何使用HtmlAgility包使用jquery按鈕單擊頁面中的數據

html-agility-pack web-crawler web-scraping

我正在嘗試使用HtmlAgility包從具有類似內容的頁面(購物網站)中抓取數據。

有一個按鈕可以加載更多由標籤設計的項目。點擊它會在同一頁面上加載更多項目。

如果它是使用標籤設計的,那麼我將使用標籤中的href屬性URL獲取下一個項目,並且我將為新的下一個項目加載新頁面,所以沒問題。

但是這裡沒有新的URL和項目加載在同一頁面上。

那麼有沒有辦法實現這個功能?如何觸發加載更多按鈕以獲取更多項目?

一般承認的答案

HtmlAgilityPack僅是一個html解析器,它只知道解析靜態html文檔。你想要什麼可以使用selenium web驅動程序完成。

另一種可能性是 - 如果項目加載操作的數量是這樣你可以手動完成加載 - 這樣做並在本地保存生成的html,然後才使用HtmlAgiliyPack來解析你在本地存儲的靜態html(而不是解析http響應) )。

分享您正在談論的網站的鏈接,以便我可以添加一些代碼片段來舉例說明。



許可下: CC-BY-SA with attribution
不隸屬於 Stack Overflow
這個KB合法嗎? 是的,了解原因
許可下: CC-BY-SA with attribution
不隸屬於 Stack Overflow
這個KB合法嗎? 是的,了解原因