HttpClient no obtiene la fuente HTML completa del sitio web

c# html-agility-pack http web-scraping win-universal-app

Pregunta

Intento descartar las ofertas de http://olx.pl/ site, estoy usando HttpClient, el problema es que el sitio recuperado del cliente es muy difriente y no contiene una lista de ofertas, ya que se encuentra en el código fuente al que se accede directamente desde el navegador. ¿Alguna idea? Aquí está mi código:

  string url = "http://olx.pl/oferty/q-diablo/?search%5Bdescription%5D=1";
  HttpClient client = new HttpClient();
  string result = await client.GetStringAsync(url);

Respuesta aceptada

HttpClient no carga el contenido que se genera desde javascript. En su lugar, puede utilizar WebView que ejecutará js. Corrí ambos, el resultado de HttpClient tenía una longitud de 235507 y la longitud del resultado de WebView de 464476.

    WebView wv = new WebView();
    wv.NavigationCompleted += Wv_NavigationCompleted;
    wv.Navigate(new Uri(url));

    private async void Wv_NavigationCompleted(WebView sender, WebViewNavigationCompletedEventArgs args)
    {
        string wvresult = await sender.InvokeScriptAsync("eval", new string[] { "document.documentElement.outerHTML;" });
    }



Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué
Licencia bajo: CC-BY-SA with attribution
No afiliado con Stack Overflow
¿Es esto KB legal? Sí, aprende por qué