Как передать пароль при использовании HtmlAgilityPack

Question

Как передать пароль при использовании HtmlAgilityPack

c# html-agility-pack web-scraping

Вопрос

Я пытаюсь прочитать XML-файлы веб-сайта, я использую HtmlAgilityPack. Это код, который я использую:

HtmlWeb web = new HtmlWeb( ) ;
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument( ) ;
doc = web.Load( "http://example.com/index.asp"  ) ;

На странице запрашивается пароль, который они мне предоставили, но я не уверен, как передать пароль, чтобы перейти на страницу index.asp, где я буду читать XML-ссылки на странице.

Пример example.com/index.asp выглядит так:

 <form action="index.asp" method="post">
 <table>
     <tbody>
         <tr>
            <td>
                <input type="Text" name="password" value="" size="20"> 
            </td>
         </tr>
     </tbody>
 </table>
</form

Как передать пароль на эту страницу из HtmlAgilityPack? Я видел здесь пример, который использует «HtmlWeb.PreRequest», но я не слишком разбираюсь в этом процессе. Я вижу, что HtmlWeb.Load имеет 7 перегрузок, но я не знаю, где разместить мою переменную, содержащую пароль.

doc = web.Load( "http://example.com/index.asp", "passwordVariable" ) ;

Если бы кто-то мог направить меня на правильный путь к исследованиям, я бы очень признателен.

спасибо

Oxx

Подробнее о Stack Overflow

Accepted Answer

Я думаю, что вы ищете, чтобы опубликовать эту страницу и попытаться получить доступ к другой защищенной странице. Безопасность для веб-страниц сильно различается, и владелец может активно пытаться предотвратить такой программный доступ.

Для простого сайта безопасности, в котором используются куки-файлы, вы можете имитировать действия, выполняемые браузером, запрашивая страницу входа в систему, выполняя POST с соответствующими учетными данными (и любыми скрытыми полями, которые могут потребоваться), чтобы захватить файлы cookie, которые были созданы и просматривались на страницу, которую вы хотите посетить, с помощью поставляемых файлов cookie.

    private HttpWebRequest CreateRequest(string url, string method)
    {
        var request = (HttpWebRequest)WebRequest.Create(url);
        request.Referer = Host;
        request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36";
        request.Method = method;
        request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8";

        return request;
    }

    public void Login()
    {
        byte[] bytes;
        string data;
        var SharedCookie = new CookieContainer();

        var url = "index.asp";

        try
        {
            //Start Session
            var request = CreateRequest(url, "GET");
            request.CookieContainer = SharedCookie;

            using (var tmpResponse = request.GetResponse())
            {
                //WriteResponse(tmpResponse);
                tmpResponse.Close();
            }

            //Login
            data = "password=123456";
            bytes = Encoding.UTF8.GetBytes(data);

            request = CreateRequest(url, "POST");
            request.CookieContainer = SharedCookie;

            using (var stream = request.GetRequestStream())
            {
                stream.Write(bytes, 0, bytes.Length);
            }

            using (var tmpResponse = request.GetResponse())
            {
                //WriteResponse(tmpResponse);
                tmpResponse.Close();
            }
            IsLoggedIn = true;
        }
        catch (System.Net.WebException ex)
        {
            Console.WriteLine("Web Error:" + ex.Status);
            Console.WriteLine("Url:" + url);
            Console.WriteLine(ex.Message);
        }
        catch (Exception ex)
        {
            Console.WriteLine("Url:" + url);
            Console.WriteLine(ex.Message);
        }
    }

Как передать пароль при использовании HtmlAgilityPack

Вопрос

Fastest Entity Framework Extensions

Принятый ответ

Performance

Expression Evaluator

Related