Cargando la página web y analizar su html después de que se complete javascript asíncrono

c# html html-agility-pack html-parsing javascript

Pregunta

Para un proyecto de .net de uso personal, estoy tratando de cargar y analizar una página de resultados de búsqueda de skyscanner.net. Sé que Skyscanner tiene API para este tipo de tareas, pero parece que no hay una licencia personal gratuita para usar.

El problema es que Skyscanner necesita muchos segundos para completar un proceso de búsqueda, por lo que usar HtmlAgilityPack para cargar los resultados del documento en una página sin el contenido que estoy buscando.

Intenté usar el objeto WebBrowser y su evento DocumentCompleted, pero parece que el evento se activa antes de que los resultados de búsqueda reales se carguen en la página.

Entonces, ¿hay alguna forma de cargar la página, esperar a que los scripts asincrónicos de javascript llenen la página por completo y luego obtener el código HTML para analizar?

Respuesta popular

Podrías usar los PhantomJs . Tuve este problema, pero no encontré ninguna solución para mi problema. Uso los PhantomJs en este artículo y me cargan la página después de 10 segundos. En mi opinión, la mejor solución para su problema es ese artículo.



Related

Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow