¿Cómo cargar una página web generada dinámicamente?

c# data-scrubbing html html-agility-pack

Pregunta

Estoy intentando cargar la página web, http://www.artstation.com/artist/nicotine , por lo que puedo limpiar la página, desafortunadamente, la página parece generarse a través de un código, por lo que las etiquetas que estoy buscando no están disponibles .

Cargarlo con lo siguiente no funciona, ya que solo carga el código fuente de JavaScript, no el contenido que genera:

HtmlWeb htmlWeb = new HtmlWeb();
imagepage = htmlWeb.Load(http://www.artstation.com/artist/nicotine);

¿Cómo puedo cargar la página de la página que se muestra en el navegador para poder buscarla en las etiquetas?

Respuesta popular

No puedes usar HtmlAgilityPack para esto. Cuando HAP le pide al servidor que le proporcione el archivo de la página, el contenido de este archivo aún no ha sido analizado / ejecutado por un navegador web y, por lo tanto, el JavaScript no ha hecho nada.

Hay un trabajo alrededor de esto. Puede usar selenio o phantomJs para obtener el contenido de las etiquetas generadas dinámicamente. Estas herramientas tienen pila de navegador y te ejecutará el JavaScript. Puedes encontrar muchas otras herramientas como esta y muchos ejemplos.




Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué
Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué