Wie übergebe ich Cookies an HtmlAgilityPack oder WebClient?
c# cookies html-agility-pack httpwebrequest webclient
Frage
Ich benutze diesen Code um mich anzumelden:
CookieCollection cookies = new CookieCollection();
HttpWebRequest request = (HttpWebRequest)WebRequest.Create("example.com");
request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(cookies);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
cookies = response.Cookies;
string getUrl = "example.com";
string postData = String.Format("my parameters");
HttpWebRequest getRequest = (HttpWebRequest)WebRequest.Create(getUrl);
getRequest.CookieContainer = new CookieContainer();
getRequest.CookieContainer.Add(cookies);
getRequest.Method = WebRequestMethods.Http.Post;
getRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:19.0) Gecko/20100101 Firefox/19.0";
getRequest.AllowWriteStreamBuffering = true;
getRequest.ProtocolVersion = HttpVersion.Version11;
getRequest.AllowAutoRedirect = true;
getRequest.ContentType = "application/x-www-form-urlencoded";
byte[] byteArray = Encoding.ASCII.GetBytes(postData);
getRequest.ContentLength = byteArray.Length;
Stream newStream = getRequest.GetRequestStream();
newStream.Write(byteArray, 0, byteArray.Length);
newStream.Close();
HttpWebResponse getResponse = (HttpWebResponse)getRequest.GetResponse();
using (StreamReader sr = new StreamReader(getResponse.GetResponseStream(), Encoding.GetEncoding("windows-1251")))
{
doc.LoadHtml(sr.ReadToEnd());
webBrowser1.DocumentText = doc.DocumentNode.OuterHtml;
}
Dann möchte ich HtmlWeb (HtmlAgilityPack) oder Webclient verwenden, um HTML nach HtmlDocument (HtmlAgilityPack) zu analysieren.
Mein Problem ist, dass wenn ich folgendes benutze:
WebClient wc = new WebClient();
webBrowser1.DocumentText = wc.DownloadString(site);
oder
doc = web.Load(site);
webBrowser1.DocumentText = doc.DocumentNode.OuterHtml;
Der Login verschwindet, also denke ich, dass ich die Cookies irgendwie weitergeben muss. Irgendwelche Vorschläge?
Akzeptierte Antwort
Überprüfen Sie HtmlAgilityPack.HtmlDocument-Cookies
Hier ist ein Beispiel für das, was Sie suchen (Syntax nicht 100% getestet, ich habe nur einige Klassen geändert, die ich normalerweise verwende) :
public class MyWebClient
{
//The cookies will be here.
private CookieContainer _cookies = new CookieContainer();
//In case you need to clear the cookies
public void ClearCookies() {
_cookies = new CookieContainer();
}
public HtmlDocument GetPage(string url) {
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
//Set more parameters here...
//...
//This is the important part.
request.CookieContainer = _cookies;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
var stream = response.GetResponseStream();
//When you get the response from the website, the cookies will be stored
//automatically in "_cookies".
using (var reader = new StreamReader(stream)) {
string html = reader.ReadToEnd();
var doc = new HtmlDocument();
doc.LoadHtml(html);
return doc;
}
}
}
Hier ist, wie Sie es verwenden:
var client = new MyWebClient();
HtmlDocument doc = client.GetPage("http://somepage.com");
//This request will be sent with the cookies obtained from the page
doc = client.GetPage("http://somepage.com/another-page");
Hinweis: Wenn Sie auch die POST Methode verwenden möchten, erstellen Sie eine ähnliche Methode wie GetPage mit der POST Logik, refactorieren Sie die Klasse usw.
Beliebte Antwort
Hier einige Empfehlungen: CookieContainer mit der WebClient-Klasse verwenden
Es ist jedoch wahrscheinlich einfacher, den HttpWebRequest und den Cookie im CookieContainer :
- HTTPWebRequest und CookieContainer
- http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.cookiecontainer.aspx
Der Code sieht ungefähr so aus:
// Create a HttpWebRequest
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(getUrl);
// Create the cookie container and add a cookie
request.CookieContainer = new CookieContainer();
// Add all the cookies
foreach (Cookie cookie in response.Cookies)
{
request.CookieContainer.Add(cookie);
}
Die zweite Sache ist, dass Sie die Seite nicht erneut herunterladen müssen, da Sie sie bereits von Ihrer Webantwort haben und Sie sie hier speichern:
HttpWebResponse getResponse = (HttpWebResponse)getRequest.GetResponse();
using (StreamReader sr = new StreamReader(getResponse.GetResponseStream(), Encoding.GetEncoding("windows-1251")))
{
webBrowser1.DocumentText = doc.DocumentNode.OuterHtml;
}
Sie sollten in der Lage sein, den HTML-Code zu verwenden und ihn mit dem HTML Agility Pack zu parsen:
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(webBrowser1.DocumentText);
Und das sollte es tun ... :)