Caricamento della pagina Web e analisi del suo html dopo il javascript asincrono completo

c# html html-agility-pack html-parsing javascript

Domanda

Per un uso personale .net progetto sto provando a caricare e analizzare una pagina dei risultati di ricerca di skyscanner.net. So che Skyscanner ha API per questo tipo di attività ma sembra che non ci sia una licenza personale gratuita da utilizzare.

Il problema è che Skyscanner necessita di molti secondi per completare un processo di ricerca, quindi utilizzando HtmlAgilityPack per caricare i risultati del documento in una pagina senza i contenuti che sto cercando.

Ho provato a utilizzare l'oggetto WebBrowser e il suo evento DocumentCompleted, ma sembra che l'evento venga attivato prima che i risultati della ricerca vengano caricati nella pagina.

Quindi, c'è un modo per caricare la pagina, attendere che gli script asincroni di javascript riempiano completamente la pagina e quindi far analizzare l'html?

Risposta popolare

Potresti usare i PhantomJs . Ho avuto questo problema, ma non ho trovato alcuna soluzione per il mio problema. Uso i PhantomJs in questo articolo e vengo caricato pagina dopo 10 secondi. A mio parere, la migliore soluzione per il tuo problema è che l'articolo.




Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché
Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché