Página web de descarga de HtmlAgilityPack que se cargó de forma asíncrona mediante javascript

c# html-agility-pack javascript web-scraping

Pregunta

Estoy usando HtmlAgilityPack y tratando de cargar algunas páginas web. Algunas páginas web están basadas en javascript y se cargan de forma asíncrona. ¿Hay alguna forma de cargar una página web después de x segundos o después de asegurarse de que la página esté completamente cargada?

Respuesta popular

Html Agility Pack no imita las llamadas del lado del cliente para cargar dinámicamente contenido en el DOM. Es un raspador sin cabeza que está descargando la página estática proporcionada por el servidor; Si desea ese contenido, tendrá que imitar las llamadas realizadas por el navegador del cliente. Si no quiere tratar de emular las llamadas que haría un navegador, en lugar de usar un raspador sin cabeza, puede usar algo como Selenium para hacer esto por usted, el lado negativo, el navegador se abrirá en la máquina host.




Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué
Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué