¿Cómo puedo raspar los datos de una página web después de buscar los datos deseados utilizando HTML Agility?

asp.net c# html html-agility-pack

Pregunta

Quiero obtener información de este sitio web.

en mi página ASPX usando el paquete de agilidad HTML. Pero no puedo hacer eso, ya que los datos se cargan después de buscar los datos en la página web.

Necesito que algunos datos se realicen de forma continua después de un intervalo de 5 minutos.

Respuesta popular

Los resultados de las búsquedas en el sitio web que ha mencionado se procesan dinámicamente utilizando Javascript y los datos vienen como respuesta de Json a través de Ajax. HtmlAgilityPack está diseñado para analizar HTML, no Json.

Considere la posibilidad de usar los controladores Selenium o iMacros para .Net, o la clase WebBrowser provista por Microsoft Framework. Estas herramientas ejecutan un navegador en segundo plano, por lo que pueden ejecutar el código Javascript en esa página y generar el HTML que desea raspar.

Solo debe configurar el tiempo de espera adecuado, por lo que seguirán esperando hasta que los resultados de la búsqueda aparezcan en la página.



Related

Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué
Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué