Как загрузить динамически созданный веб-сайт?

c# data-scrubbing html html-agility-pack

Вопрос

Я пытаюсь загрузить веб-страницу, http://www.artstation.com/artist/nicotine , поэтому я могу очистить страницу, к сожалению, страница, похоже, сгенерирована с помощью кода, поэтому теги, которые я ищу, недоступны ,

Загрузка его с помощью следующего не работает, поскольку он загружает только исходный javascript, а не его содержимое:

HtmlWeb htmlWeb = new HtmlWeb();
imagepage = htmlWeb.Load(http://www.artstation.com/artist/nicotine);

Как загрузить страницу, отображаемую в браузере, чтобы я мог ее очистить для тегов?

Популярные ответы

Вы не можете использовать HtmlAgilityPack для этого. Когда HAP просит сервер предоставить вам файл страницы, содержимое этого файла еще не было проанализировано / выполнено веб-браузером, поэтому JavaScript на нем еще ничего не сделал.

Для этого есть работа. Вы можете использовать selenium или phantomJs для получения содержимого динамически генерируемых тегов. Эти инструменты имеют стек браузера, и он выполнит вам JavaScript. Вы можете найти множество других инструментов, подобных этому, и множество примеров.



Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему