HttpClient scrape i dati dal sito web con login c #

c# html-agility-pack httpclient

Domanda

Vorrei analizzare alcuni dati dal seguente sito Web:

http://wttv.click-tt.de/cgi-bin/WebObjects/nuLigaTTDE.woa/wa/teamPortrait?teamtable=1673669&pageState=rueckrunde&championship=SK+Bez.+BB+13%2F14&group=204559# .

Il sito web contiene alcuni dati sul tennis da tavolo. È possibile accedere alla stagione attuale senza effettuare l'accesso solo le ultime stagioni con accesso. Per la stagione attuale ho già creato del codice per ricavarne i dati e funziona perfettamente. Sto usando HttpClient da HtmlAgilityPack. Il codice assomiglia a questo:

            HttpClient http = new HttpClient();
            var response = await http.GetByteArrayAsync(website);
            String source = Encoding.GetEncoding("utf-8").GetString(response, 0, response.Length - 1);
            source = WebUtility.HtmlDecode(source);
            HtmlDocument resultat = new HtmlDocument();
            resultat.LoadHtml(source);

            Do something to get the relevant data from resultat by scanning the DocumentNodes from resultat...

Ora vorrei recuperare i dati dal sito web che richiede un accesso. Qualcuno ha un'idea per questo come accedere al sito Web e ottenere i dati? Il login deve essere fatto facendo clic su "Ergebnishistorie freischalten ..." e quindi inserendo il nome utente e il passwort.

Risposta accettata

Esistono molti modi per eseguire un accesso a un sito Web e ciò dipende dal metodo di autenticazione utilizzato dal sito specifico (autenticazione basata su form, autenticazione di base, autenticazione di Windows ecc.). Di solito i siti Web utilizzano FormsAuthentication.

Per eseguire un accesso in un sito Web FormsAuthentication standard utilizzando HttpClient, è necessario impostare CookieContainer, poiché i dati di autenticazione verranno impostati sui cookie.

Nel tuo esempio specifico, il modulo di login rende un POST a qualsiasi pagina in HTTPS, ho usato https://wttv.click-tt.de/cgi-bin/WebObjects/nuLigaTTDE.woa/wa/teamPortrait?teamtable=1673669&pageState = rueckrunde & championship = SK + Bez. + BB + 13% 2F14 & group = 204559 come esempio. Questo è il codice per effettuare la richiesta usando HttpClient:

var baseAddress = new Uri("https://wttv.click-tt.de/");
var cookieContainer = new CookieContainer();
using (var handler = new HttpClientHandler() { CookieContainer = cookieContainer })
using (var client = new HttpClient(handler) { BaseAddress = baseAddress })
{
    //usually i make a standard request without authentication, eg: to the home page.
    //by doing this request you store some initial cookie values, that might be used in the subsequent login request and checked by the server
    var homePageResult = client.GetAsync("/");
    homePageResult.Result.EnsureSuccessStatusCode();

    var content = new FormUrlEncodedContent(new[]
    {
        //the name of the form values must be the name of <input /> tags of the login form, in this case the tag is <input type="text" name="username">
        new KeyValuePair<string, string>("username", "username"),
        new KeyValuePair<string, string>("password", "password"),
    });
    var loginResult = client.PostAsync("/cgi-bin/WebObjects/nuLigaTTDE.woa/wa/teamPortrait?teamtable=1673669&pageState=rueckrunde&championship=SK+Bez.+BB+13%2F14&group=204559", content).Result;
    loginResult.EnsureSuccessStatusCode();

    //make the subsequent web requests using the same HttpClient object
}

Tuttavia, molti siti Web utilizzano alcuni valori di modulo caricati da JavaScript o ancora più controlli di captcha, e ovviamente questa soluzione non funzionerà. Ciò potrebbe essere fatto come detto con un controllo WebBrowser (automatizzando l'input dell'utente nei campi modulo e quindi facendo clic sul pulsante di accesso, questo collegamento ha un esempio: https://social.msdn.microsoft.com/Forums/vstudio/en- US / 0b77ca8c-48ce-4fa8-9367-c7491aa359b0 / yahoo-login-via-systemnetsockets-namespace? Forum = vbgeneral ).

Come regola generale per controllare come funziona il login sul tuo sito Web, usa Fiddler: http://www.telerik.com/fiddler : quando fai clic sul pulsante di accesso sul tuo sito web, guarda Fiddler e trova la richiesta di accesso (di solito è la prima richiesta subito dopo aver fatto clic sul pulsante "Accedi" e di solito è una richiesta POST).

Quindi controlla i dati della richiesta (seleziona la richiesta e vai alla scheda "Ispettori" - "TextView") e prova a replicare la richiesta sul tuo codice.

Nel pannello di sinistra ci sono tutte le richieste intercettate da Fiddler, nel pannello di destra ci sono gli ispettori di richiesta e risposta

Nel pannello di sinistra ci sono tutte le richieste intercettate da Fiddler, sul pannello di destra ci sono gli ispettori di richiesta e risposta (in cima ci sono gli ispettori di richiesta, in basso ci sono gli ispettori di risposta)

modificare

Stesso codice con la vecchia classe WebRequest: http://rextester.com/LLP86817

var cookieContainer = new CookieContainer();

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("https://wttv.click-tt.de/");
request.CookieContainer = cookieContainer;
//set the user agent and accept header values, to simulate a real web browser
request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36";
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";


//SET AUTOMATIC DECOMPRESSION
request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;

Console.WriteLine("FIRST RESPONSE");
Console.WriteLine();
using (WebResponse response = request.GetResponse())
{
    using (StreamReader sr = new StreamReader(response.GetResponseStream()))
    {
        Console.WriteLine(sr.ReadToEnd());
    }
}

request = (HttpWebRequest)HttpWebRequest.Create("https://wttv.click-tt.de/cgi-bin/WebObjects/nuLigaTTDE.woa/wa/teamPortrait?teamtable=1673669&pageState=rueckrunde&championship=SK+Bez.+BB+13%2F14&group=204559");
//set the cookie container object
request.CookieContainer = cookieContainer;
request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36";
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";

//set method POST and content type application/x-www-form-urlencoded
request.Method = "POST";
request.ContentType = "application/x-www-form-urlencoded";

//SET AUTOMATIC DECOMPRESSION
request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;

//insert your username and password
string data = string.Format("username={0}&password={1}", "username", "password");
byte[] bytes = System.Text.Encoding.UTF8.GetBytes(data);

request.ContentLength = bytes.Length;

using (Stream dataStream = request.GetRequestStream())
{
    dataStream.Write(bytes, 0, bytes.Length);
    dataStream.Close();
}

Console.WriteLine("LOGIN RESPONSE");
Console.WriteLine();
using (WebResponse response = request.GetResponse())
{
    using (StreamReader sr = new StreamReader(response.GetResponseStream()))
    {
        Console.WriteLine(sr.ReadToEnd());
    }
}

//request = (HttpWebRequest)HttpWebRequest.Create("INTERNAL PROTECTED PAGE ADDRESS");
//After a successful login, you must use the same cookie container for all request
//request.CookieContainer = cookieContainer;

//....


Related

Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché
Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché