Загрузка веб-страницы и анализ ее html после завершения асинхронного javascript

c# html html-agility-pack html-parsing javascript

Вопрос

Для личного использования проекта .net Я пытаюсь загрузить и проанализировать страницу результатов поиска skyscanner.net. Я знаю, что на Skyscanner есть API для таких задач, но, похоже, нет бесплатной персональной лицензии.

Проблема заключается в том, что Skyscanner требуется много секунд для завершения процесса поиска, поэтому использование HtmlAgilityPack для загрузки документа приводит к странице без содержимого, которое я ищу.

Я попытался использовать объект WebBrowser и его событие DocumentCompleted, но кажется, что событие запускается до того, как фактические результаты поиска будут загружены на страницу.

Итак, есть ли способ загрузить страницу, дождаться, когда асинхронные скрипты javascript полностью заполнит страницу, а затем запустите html для анализа?

Популярные ответы

Вы можете использовать PhantomJs . У меня была эта проблема, но я не нашел решения для своей проблемы. Я использую PhantomJs в этой статье и загружаю страницу через 10 секунд. На мой взгляд, лучшим решением для вашей проблемы является статья.



Related

Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему