Analisi di dl con HtmlAgilityPack

asp.net c# html-agility-pack screen-scraping

Domanda

Questo è l'esempio di codice HTML che sto cercando di analizzare con Html Agility Pack in ASP.Net (C #).

<div class="content-div">
    <dl>
        <dt>
            <b><a href="1.html" title="1">1</a></b>
        </dt>
        <dd> First Entry</dd>
        <dt>
            <b><a href="2.html" title="2">2</a></b>
        </dt>
        <dd> Second Entry</dd>
        <dt>
            <b><a href="3.html" title="3">3</a></b>
        </dt>
        <dd> Third Entry</dd>
    </dl>
</div>

I valori che voglio sono:

  • Il collegamento ipertestuale -> 1.html
  • Il testo dell'ancora -> 1
  • Testo interno od dd -> Prima voce

(Ho preso esempi della prima voce qui, ma voglio i valori per questi elementi per tutte le voci nella lista)

Questo è il codice che sto usando attualmente,

var webGet = new HtmlWeb();
            var document = webGet.Load(url2);
var parsedValues=
   from info in document.DocumentNode.SelectNodes("//div[@class='content-div']")
   from content in info.SelectNodes("dl//dd")
   from link in info.SelectNodes("dl//dt/b/a")
       .Where(x => x.Attributes.Contains("href"))
   select new 
   {
       Text = content.InnerText,
       Url = link.Attributes["href"].Value,
       AnchorText = link.InnerText,
   };

GridView1.DataSource = parsedValues;
GridView1.DataBind();

Il problema è che ottengo i valori per il link e il testo di ancoraggio correttamente ma per il testo interno di esso prende solo il valore della prima voce e riempie lo stesso valore per tutte le altre voci per il numero totale di volte che l'elemento si verifica e poi ricomincia con il secondo. Potrei non essere così chiaro nella mia spiegazione, quindi ecco un esempio di output che sto ottenendo con questo codice:

First Entry     1.html  1
First Entry     2.html  2
First Entry     3.html  3
Second Entry    1.html  1
Second Entry    2.html  2
Second Entry    3.html  3
Third Entry     1.html  1
Third Entry     2.html  2
Third Entry     3.html  3

Mentre sto cercando di ottenere

First Entry      1.html     1
Second Entry     2.html     2
Third Entry      3.html     3

Sono abbastanza nuovo per HAP e ho poche conoscenze su xpath, quindi sono sicuro che sto facendo qualcosa di sbagliato qui, ma non potrei farlo funzionare anche dopo aver passato ore su di esso. Qualsiasi aiuto sarebbe molto apprezzato.

Risposta accettata

Soluzione 1

Ho definito una funzione che dato un nodo dt restituirà il successivo nodo dd dopo di esso:

private static HtmlNode GetNextDDSibling(HtmlNode dtElement)
{
    var currentNode = dtElement;

    while (currentNode != null)
    {
        currentNode = currentNode.NextSibling;

        if(currentNode.NodeType == HtmlNodeType.Element && currentNode.Name =="dd")
            return currentNode;
    }

    return null;
}

e ora il codice LINQ può essere trasformato in:

var parsedValues =
    from info in document.DocumentNode.SelectNodes("//div[@class='content-div']")
    from dtElement in info.SelectNodes("dl/dt")
    let link = dtElement.SelectSingleNode("b/a[@href]")
    let ddElement = GetNextDDSibling(dtElement)
    where link != null && ddElement != null
    select new
    {
        Text = ddElement.InnerHtml,
        Url = link.GetAttributeValue("href", ""),
        AnchorText = link.InnerText
    };

Soluzione 2

Senza funzioni aggiuntive:

var infoNode = 
        document.DocumentNode.SelectSingleNode("//div[@class='content-div']");

var dts = infoNode.SelectNodes("dl/dt");
var dds = infoNode.SelectNodes("dl/dd");

var parsedValues = dts.Zip(dds,
    (dt, dd) => new
    {
        Text = dd.InnerHtml,
        Url = dt.SelectSingleNode("b/a[@href]").GetAttributeValue("href", ""),
        AnchorText = dt.SelectSingleNode("b/a[@href]").InnerText
    });

Risposta popolare

Solo un esempio di come puoi analizzare alcuni elementi usando Html Agility Pack

public string ParseHtml()
{
    string output = null;
    HtmlDocument htmldocument = new HtmlDocument();
    htmldocument.LoadHtml(YourHTML);

    HtmlNode node = htmldocument.DocumentNode;    

    HtmlNodeCollection dds = node.SelectNodes("//dd"); //Select all dd tags
    HtmlNodeCollection anchors = node.SelectNodes("//b/a[@href]"); //Select all 'a' tags that contais href attribute

    for (int i = 0; i < dds.Count; i++)
    {
        string atributteValue = null.
        Text = dds[i].InnerText;
        Url = anchors[i].GetAttributeValue("href", atributteValue);
        AnchorText = anchors[i].InnerText;

        //Your code...
    }
    return output;
}


Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché
Autorizzato sotto: CC-BY-SA with attribution
Non affiliato con Stack Overflow
È legale questo KB? Sì, impara il perché