Come raschiare i dati in una pagina con un clic sul pulsante jQuery utilizzando il pacchetto HtmlAgility

html-agility-pack web-crawler web-scraping

Domanda

Sto cercando di raschiare i dati da una pagina con contenuti simili (sito Web Shopping) utilizzando il pacchetto HtmlAgility.

C'è un pulsante per caricare più oggetti progettati di tag. Al clic carica più oggetti sulla stessa pagina.

Se è stato progettato utilizzando il tag, otterrò gli elementi successivi utilizzando l'URL dell'attributo href nel tag e inoltre caricherò una nuova pagina per i nuovi elementi successivi, quindi nessun problema.

Ma qui nessun nuovo URL e oggetti caricati sulla stessa pagina.

Quindi c'è un modo per ottenere questa funzionalità implementata? Come attivare quel carico più pulsante per ottenere più oggetti?

Risposta accettata

HtmlAgilityPack è un parser html, sa solo analizzare un documento html statico. quello che vuoi può essere realizzato usando il driver web del selenio .

Un'altra possibilità è: se il numero di azioni di caricamento dell'elemento è tale da poter completare il caricamento manualmente, farlo e salvare localmente l'html risultante, e solo successivamente utilizzare HtmlAgiliyPack per analizzare l'html statico archiviato localmente (invece di analizzare la risposta http ).

Condividi il link del sito di cui stai parlando in modo da poter aggiungere alcuni frammenti di codice per esemplificare.




Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché
Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché