HtmlAgilityPack javascriptによって非同期にロードされたWebページをダウンロードする

c# html-agility-pack javascript web-scraping

質問

私はHtmlAgilityPackを使用して、いくつかのWebページをロードしようとしています。一部のWebページはJavaScriptベースであり、非同期的に読み込まれます。 x秒後に、またはページが完全にロードされたことを確認した後にWebページをロードする方法はありますか

人気のある回答

Html Agility Packは、コンテンツをDOMに動的に読み込むためのクライアント側の呼び出しを模倣していません。それはサーバーによって与えられた静的ページをダウンロードしているヘッドレススクレーパーです。そのコンテンツが必要な場合は、クライアントブラウザからの呼び出しを模倣する必要があります。ブラウザーが行うコールをエミュレートしようとしない場合は、ヘッドレススクレーパーを使用する代わりに、 Seleniumのようなものを使用して、これを行うことができます。



Related

ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ
ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ