Загрузите веб-страницу HtmlAgilityPack, загружаемую асинхронно с помощью javascript

c# html-agility-pack javascript web-scraping

Вопрос

Я использую HtmlAgilityPack и пытаюсь загрузить некоторые веб-страницы. некоторые веб-страницы основаны на javascript и загружаются асинхронно. есть ли способ загрузить веб-страницу через х секунд или после того, как страница полностью загружена

Популярные ответы

Html Agility Pack не подражает вызовам на стороне клиента, чтобы динамически загружать контент в DOM. Это безгласный скребок, который загружает статическую страницу, заданную сервером; если вам нужен этот контент, вам придется имитировать вызовы, сделанные клиентским браузером. Если вы не хотите пытаться эмулировать вызовы, которые сделает браузер, вместо использования безглазного скребка, вы можете использовать что-то вроде Selenium, чтобы сделать это для вас, с нижней стороны, браузер будет открыт на главной машине.



Related

Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow