Использование WebClient для загрузки HTML

c# html-agility-pack webclient

Вопрос

Я пытаюсь загрузить веб-страницу:

string remoteUri = "http://whois.domaintools.com/94.100.179.159";
WebClient myWebClient = new WebClient();
byte[] myDataBuffer = myWebClient.DownloadData(remoteUri);
string download = Encoding.ASCII.GetString(myDataBuffer);
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(download);
doc.Save("file1.htm");

Ошибка

webexception был необработанным: (403) Запрещено.

Есть ли другие способы загрузки страницы? Я пробовал класс HtmlDocument, но, как я вижу, ему нужна загруженная веб-страница в браузере.

HtmlWeb hwObject = new HtmlWeb();
        string ip = "http://whois.domaintools.com/";
        HtmlAgilityPack.HtmlDocument htmldocObject = hwObject.Load(ip);

        foreach (HtmlNode link in htmldocObject.DocumentNode.SelectNodes("//meta[@name = 'description']"))
        {
            ...
        }

Принятый ответ

using (var myWebClient = new WebClient())
{
    myWebClient.Headers["User-Agent"] = "MOZILLA/5.0 (WINDOWS NT 6.1; WOW64) APPLEWEBKIT/537.1 (KHTML, LIKE GECKO) CHROME/21.0.1180.75 SAFARI/537.1";

    string page = myWebClient.DownloadString("http://whois.domaintools.com/94.100.179.159");

    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(page);
}

Популярные ответы

Сайт просто возвращает ошибку, когда он не находит агента пользователя в запросе, вот рабочий код.

string remoteUri = "http://whois.domaintools.com/94.100.179.159";
HtmlDocument doc = new HtmlDocument();
using (WebClient myWebClient = new WebClient())
{
  myWebClient.Headers.Add(HttpRequestHeader.UserAgent, "some browser user agent");
  doc.Load(myWebClient.OpenRead(remoteUri));
}
doc.Save("file1.htm");

Или если вы хотите использовать HtmlWeb

HtmlWeb hwObject = new HtmlWeb();
hwObject.UserAgent = "some browser user agent";
//more code...


Related

Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow
Лицензировано согласно: CC-BY-SA with attribution
Не связан с Stack Overflow