Comment effacer des données dans une page avec un bouton jQuery cliquez avec le pack HtmlAgility

html-agility-pack web-crawler web-scraping

Question

J'essaie d'extraire les données d'une page avec un contenu similaire (site Web d'achat) à l'aide du pack HtmlAgility.

Il y a un bouton pour charger plus d'éléments conçus de tag. Au clic, il charge plus d'éléments sur la même page.

S'il est conçu à l'aide d'une balise, les éléments suivants seront utilisés à l'aide de l'URL d'attribut href, et une nouvelle page sera chargée pour les nouveaux éléments, donc pas de problème.

Mais ici, pas de nouvelle URL ni d’éléments chargés sur la même page.

Alors, y a-t-il un moyen de mettre cette fonctionnalité en œuvre? Comment déclencher ce bouton load more pour obtenir plus d'éléments?

Réponse acceptée

HtmlAgilityPack est un analyseur HTML seul, il sait seulement analyser un document HTML statique. ce que vous voulez peut être accompli en utilisant le pilote Web de sélénium .

Une autre possibilité est - si le nombre d'actions de chargement d'élément est telle que vous puissiez terminer le chargement manuellement - faites-le et enregistrez le HtmlAgiliyPack HTML résultant localement, puis utilisez HtmlAgiliyPack pour analyser le HtmlAgiliyPack HTML statique stocké localement (au lieu d'analyser la réponse http). )

Partagez le lien du site dont vous parlez afin que je puisse ajouter des extraits de code à titre d'exemple.



Sous licence: CC-BY-SA with attribution
Non affilié à Stack Overflow
Est-ce KB légal? Oui, apprenez pourquoi
Sous licence: CC-BY-SA with attribution
Non affilié à Stack Overflow
Est-ce KB légal? Oui, apprenez pourquoi