Как очистить данные на странице с помощью кнопки jquery, используя HtmlAgility pack

html-agility-pack web-crawler web-scraping

Вопрос

Я пытаюсь очистить данные со страницы с похожим контентом (веб-сайт Shopping) с помощью пакета HtmlAgility.

Существует кнопка для загрузки большего количества элементов, созданных с тегом. При щелчке он загружает больше предметов на одной странице.

Если он создан с использованием тега, тогда я получу следующие элементы, используя URL-адрес атрибута href в теге, а также я загружу новую страницу для новых следующих элементов, поэтому никаких проблем.

Но здесь нет новых URL-адресов и элементов, загруженных на одну страницу.

Итак, есть ли способ реализовать эту функциональность? Как вызвать эту кнопку загрузки больше, чтобы получить больше предметов?

Принятый ответ

HtmlAgilityPack - это только анализатор html, он знает только для анализа статического html-документа. то, что вы хотите, может быть выполнено с помощью веб-драйвера селена .

Другая возможность заключается в том, что если количество операций загрузки элементов является таким, что вы можете выполнить загрузку вручную - сделайте это и сохраните полученный html локально, и только потом используйте HtmlAgiliyPack для анализа статического html, который вы сохранили локально (вместо анализа HTTP-ответа ).

Поделитесь ссылкой на сайт, о котором вы говорите, поэтому я могу добавить некоторые фрагменты кода для иллюстрации.



Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Является ли этот КБ законным? Да, узнайте, почему