Pack HTMLAgility: Scraping Screen Impossible de trouver une div avec un trait d'union dans la classe Nom?

c# html-agility-pack screen-scraping

Question

C'est un peu un exercice d'apprentissage, mais aussi une partie de plaisir. En gros, j'essaie d'analyser le prix du prix d'une chambre d'état 'Balcony' (actuellement à 1039 $) dans une application console C #. L'URL est:

Méthodes

J'ai l'URL ci-dessus chargé bien dans:

var document = getHtmlWeb.Load(web_address);

Le conteneur pour les prix Balcony est une division avec la classe ' col ' et constitue la 3ème column-container clearfix classe column-container clearfix . Je pensais que tout ce dont j'avais besoin serait d'amender toutes les divs avec classe par:

var document = getHtmlWeb.Load(web_address);

puis sélectionnez le 3ème nœud pour obtenir les prix Balcon. Mais la variable low_price renvoie toujours null. Je sais que le document lui-même est chargé et je peux voir à l'intérieur du " col " si je sélectionne " col ". Est-ce le trait d'union dans la col-bottom qui empêche la découverte de cette div?

Un autre moyen d’y arriver? Comme je l'ai dit, c'est surtout un exercice d'apprentissage. Mais je dois créer des solutions de surveillance personnalisées qui nécessitent un nettoyage d’écran. Ce n’est donc pas uniquement amusant.

Merci!

EDITER extrait de code HTML contenant les informations pertinentes:

var document = getHtmlWeb.Load(web_address);

Réponse populaire

Il n’ya rien de mal avec les tirets dans les noms ou les valeurs qui valident le HTML valide, le problème avec votre source est qu’ils utilisent javascript sur le client pour rendre le html, pour vérifier que vous pouvez télécharger la page html sont à la recherche n'existent pas.

Pour analyser les pages dans lesquelles JavaScript doit d'abord être exécuté, vous pouvez utiliser un contrôle de navigateur Web, puis transmettre le code HTML à HAP.

Voici un exemple simple d'utilisation du contrôle de navigateur Web WinForms:

private void ParseSomeHtmlThatRenderedJavascript(){
        var browser = new System.Windows.Forms.WebBrowser() { ScriptErrorsSuppressed = true };

        string link = "yourLinkHere";

        //This will be called when the web page loads, it better be a class member since this is just a simple demonstration
        WebBrowserDocumentCompletedEventHandler onDocumentCompleted = new WebBrowserDocumentCompletedEventHandler((s, evt) => {
            //Do your HtmlParsingHere
            var doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(browser.DocumentText);
            var someNode = doc.DocumentNode.SelectNodes("yourxpathHere");
        });

        //subscribe to the DocumentCompleted event using our above handler before navigating
        browser.DocumentCompleted += onDocumentCompleted;

        browser.Navigate(link);
    }

Vous pouvez également consulter Awesomium et d’autres contrôles WebBrowser intégrés.

En outre, si vous souhaitez exécuter l'application WebBrowser dans la console, voici un exemple. Si vous ne l'utilisez pas, utilisez cet outil à l'aide de cette réponse SO Contrôle WebBrowser dans un nouveau fil

private void ParseSomeHtmlThatRenderedJavascript(){
        var browser = new System.Windows.Forms.WebBrowser() { ScriptErrorsSuppressed = true };

        string link = "yourLinkHere";

        //This will be called when the web page loads, it better be a class member since this is just a simple demonstration
        WebBrowserDocumentCompletedEventHandler onDocumentCompleted = new WebBrowserDocumentCompletedEventHandler((s, evt) => {
            //Do your HtmlParsingHere
            var doc = new HtmlAgilityPack.HtmlDocument();
            doc.LoadHtml(browser.DocumentText);
            var someNode = doc.DocumentNode.SelectNodes("yourxpathHere");
        });

        //subscribe to the DocumentCompleted event using our above handler before navigating
        browser.DocumentCompleted += onDocumentCompleted;

        browser.Navigate(link);
    }



Sous licence: CC-BY-SA with attribution
Non affilié à Stack Overflow
Est-ce KB légal? Oui, apprenez pourquoi
Sous licence: CC-BY-SA with attribution
Non affilié à Stack Overflow
Est-ce KB légal? Oui, apprenez pourquoi