HtmlAgilityPack lädt die Webseite herunter, die asynchron von Javascript geladen wurde
c# html-agility-pack javascript web-scraping
Frage
Ich verwende HtmlAgilityPack und versuche, einige Webseiten zu laden. Einige Webseiten sind Javascript-basiert und werden asynchron geladen. Gibt es eine Möglichkeit, die Webseite nach x Sekunden zu laden oder nachdem sichergestellt wurde, dass die Seite vollständig geladen ist
Beliebte Antwort
Html Agility Pack ahmt die clientseitigen Aufrufe zum dynamischen Laden von Inhalten in das DOM nicht nach. Es ist ein headless scraper, der die statische Seite herunterlädt, die vom Server gegeben wird; Wenn Sie diesen Inhalt möchten, müssen Sie die Aufrufe des Client-Browsers nachahmen. Wenn Sie nicht versuchen möchten, die Aufrufe eines Browsers nachzuahmen, anstatt einen Headless-Scraper zu verwenden, können Sie etwas Selenium für Sie verwenden, da der Browser auf dem Host-Computer geöffnet wird.
Lizenziert unter: CC-BY-SA with attribution
Nicht verbunden mit Stack Overflow