Ich versuche, Daten von einer Seite mit ähnlichem Inhalt (Shopping-Website) mit dem HtmlAgility-Paket zu scrappen.
Es gibt eine Schaltfläche, um mehr Elemente zu laden, die aus einem Tag bestehen. Beim Klicken lädt es mehr Elemente auf derselben Seite.
Wenn es mit einem Tag entworfen wird, dann werde ich die nächsten Elemente mit der href-Attribut-URL im Tag erhalten und ich werde auch eine neue Seite für die neuen nächsten Elemente laden. Also kein Problem.
Aber hier keine neue URL und Elemente auf der gleichen Seite geladen.
Gibt es eine Möglichkeit, diese Funktionalität zu implementieren? Wie löse ich diese Taste mehr, um mehr Gegenstände zu bekommen?
HtmlAgilityPack
ist ein HTML-Parser, der nur ein statisches HTML-Dokument parsen kann. was Sie wollen, kann mit Selen-Web-Treiber erreicht werden .
Eine weitere Möglichkeit ist - wenn die Anzahl der Aktionen zum Laden von HtmlAgiliyPack
so ist, dass Sie das Laden manuell abschließen können - tun Sie dies und speichern Sie das resultierende HTML lokal und verwenden HtmlAgiliyPack
anschließend HtmlAgiliyPack
, um das statische HTML, das Sie lokal gespeichert HtmlAgiliyPack
zu analysieren (anstatt die HTTP-Antwort zu analysieren) ).
Teile den Link der Seite, über die du sprichst, damit ich einige Code-Snippets hinzufügen kann, um sie zu veranschaulichen.