Html Agility Pack, Web Scraping e spoofing in C #

Trovo troppo il web scraping, ma qui ci sono le opzioni: ho un elenco predefinito di intestazioni che aggiungo in quanto tutti questi sono previsti da un browser:

        wc.Headers[HttpRequestHeader.UserAgent] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11";
        wc.Headers[HttpRequestHeader.ContentType] = "application/x-www-form-urlencoded";
        wc.Headers[HttpRequestHeader.Accept] = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
        wc.Headers[HttpRequestHeader.AcceptEncoding] = "gzip,deflate,sdch";
        wc.Headers[HttpRequestHeader.AcceptLanguage] = "en-GB,en-US;q=0.8,en;q=0.6";
        wc.Headers[HttpRequestHeader.AcceptCharset] = "ISO-8859-1,utf-8;q=0.7,*;q=0.3";

(WC è il mio WebClient).

Come ulteriore aiuto - ecco la mia classe webclient che tiene memorizzati i cookie - che è anche un grande aiuto:

public class CookieWebClient : WebClient
{

    public CookieContainer m_container = new CookieContainer();
    public WebProxy proxy = null;

    protected override WebRequest GetWebRequest(Uri address)
    {
        try
        {
            ServicePointManager.DefaultConnectionLimit = 1000000;
            WebRequest request = base.GetWebRequest(address);
            request.Proxy = proxy;

            HttpWebRequest webRequest = request as HttpWebRequest;
            webRequest.Pipelined = true;
            webRequest.KeepAlive = true;
            if (webRequest != null)
            {
                webRequest.CookieContainer = m_container;
            }

            return request;
        }
        catch
        {
            return null;
        }
    }
}

Ecco il mio solito uso per questo. Aggiungi una copia statica alla classe del tuo sito base con tutte le funzioni di analisi che probabilmente hai:

    protected static CookieWebClient wc = new CookieWebClient();

E chiamalo così:

public HtmlDocument Download(string url)
    {
        HtmlDocument hdoc = new HtmlDocument();
        HtmlNode.ElementsFlags.Remove("option");
        HtmlNode.ElementsFlags.Remove("select");
        Stream read = null;
        try
        {
            read = wc.OpenRead(url);
        }
        catch (ArgumentException)
        {
            read = wc.OpenRead(HttpHelper.HTTPEncode(url));
        }

        hdoc.Load(read, true);


        return hdoc;
    }

L'altro motivo principale per cui si potrebbe andare in crash è che la connessione viene chiusa dal server in quanto hai avuto una connessione aperta troppo a lungo. Puoi provarlo aggiungendo un try catch alla parte download come sopra e se fallisce, resetta il webclient e prova a scaricare di nuovo:

HtmlDocument d = new HtmlDocument();
                            try
                            {
                                d = this.Download(prp.PropertyUrl);
                            }
                            catch (WebException e)
                            {
                                this.Msg(Site.ErrorSeverity.Severe, "Error connecting to " + this.URL + " : Resubmitting..");
                                wc = new CookieWebClient();
                                d = this.Download(prp.PropertyUrl);
                            }

Questo mi salva il culo tutto il tempo, anche se era il server che ti respingeva, questo può ridistribuire il sacco. I cookie sono cancellati e il tuo libero di vagare di nuovo. Se peggio davvero peggiora, aggiungi il supporto proxy e ottieni un nuovo proxy applicato per le richieste di 50 ish.

Questo dovrebbe essere più che sufficiente per farti dare un calcio al tuo culo personale.

VALUTA A ME!