Come posso utilizzare HTML Agility Pack per recuperare tutte le immagini da un sito Web?

c# html-agility-pack parsing

Domanda

Ho appena scaricato l'HTMLAgilityPack e la documentazione non ha esempi.

Sto cercando un modo per scaricare tutte le immagini da un sito web. Le stringhe di indirizzo, non l'immagine fisica.

<img src="blabalbalbal.jpeg" />

Ho bisogno di estrarre la fonte di ogni tag img. Voglio solo avere un'idea della biblioteca e cosa può offrire. Tutti hanno detto che questo era lo strumento migliore per il lavoro.

modificare

public void GetAllImages()
    {
        WebClient x = new WebClient();
        string source = x.DownloadString(@"http://www.google.com");

        HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
        document.Load(source);

                         //I can't use the Descendants method. It doesn't appear.
        var ImageURLS = document.desc
                   .Select(e => e.GetAttributeValue("src", null))
                   .Where(s => !String.IsNullOrEmpty(s));        
    }

Risposta accettata

Puoi farlo usando LINQ, come questo:

var document = new HtmlWeb().Load(url);
var urls = document.DocumentNode.Descendants("img")
                                .Select(e => e.GetAttributeValue("src", null))
                                .Where(s => !String.IsNullOrEmpty(s));

EDIT : questo codice ora funziona davvero; Mi ero dimenticato di scrivere document.DocumentNode .


Risposta popolare

In base al loro esempio, ma con XPath modificato:

 HtmlDocument doc = new HtmlDocument();
 List<string> image_links = new List<string>();
 doc.Load("file.htm");
 foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//img"))
 {
    image_links.Add( link.GetAttributeValue("src", "") );
 }

Non conosco questa estensione, quindi non sono sicuro di come scrivere la matrice in qualche altro posto, ma questo almeno ti procurerà i tuoi dati. (Inoltre, non definisco correttamente l'array, ne sono sicuro.

modificare

Usando il tuo esempio:

public void GetAllImages()
    {
        WebClient x = new WebClient();
        string source = x.DownloadString(@"http://www.google.com");

        HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
        List<string> image_links = new List<string>();
        document.Load(source);

        foreach(HtmlNode link in document.DocumentElement.SelectNodes("//img"))
        {
          image_links.Add( link.GetAttributeValue("src", "") );
       }


    }


Related

Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché
Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché