Анализ dl с помощью HtmlAgilityPack

Question

Анализ dl с помощью HtmlAgilityPack

asp.net c# html-agility-pack screen-scraping

Вопрос

Это образец HTML, который я пытаюсь проанализировать с помощью пакета Html Agility Pack в ASP.Net (C #).

<div class="content-div">
    <dl>
        <dt>
            <b><a href="1.html" title="1">1</a></b>
        </dt>
        <dd> First Entry</dd>
        <dt>
            <b><a href="2.html" title="2">2</a></b>
        </dt>
        <dd> Second Entry</dd>
        <dt>
            <b><a href="3.html" title="3">3</a></b>
        </dt>
        <dd> Third Entry</dd>
    </dl>
</div>

Значения, которые я хочу:

Гиперссылка -> 1.html
Текст привязки -> 1
Внутренний текст od dd -> Первая запись

(Я привел примеры первой записи здесь, но мне нужны значения для этих элементов для всех записей в списке)

Это код, который я использую в настоящее время,

var webGet = new HtmlWeb();
            var document = webGet.Load(url2);
var parsedValues=
   from info in document.DocumentNode.SelectNodes("//div[@class='content-div']")
   from content in info.SelectNodes("dl//dd")
   from link in info.SelectNodes("dl//dt/b/a")
       .Where(x => x.Attributes.Contains("href"))
   select new 
   {
       Text = content.InnerText,
       Url = link.Attributes["href"].Value,
       AnchorText = link.InnerText,
   };

GridView1.DataSource = parsedValues;
GridView1.DataBind();

Проблема в том, что я правильно получаю значения для ссылки и якорный текст, но для внутреннего текста он просто берет значение первой записи и заполняет одно и то же значение для всех других записей для общего количества раз, когда элемент возникает, и то он начинается со второго. В моем объяснении, возможно, не так ясно, так что вот пример вывода, который я получаю с этим кодом:

First Entry     1.html  1
First Entry     2.html  2
First Entry     3.html  3
Second Entry    1.html  1
Second Entry    2.html  2
Second Entry    3.html  3
Third Entry     1.html  1
Third Entry     2.html  2
Third Entry     3.html  3

В то время как я пытаюсь получить

First Entry      1.html     1
Second Entry     2.html     2
Third Entry      3.html     3

Я довольно новичок в HAP и очень мало знаю о xpath, поэтому я уверен, что здесь что-то не так, но я не мог заставить его работать, даже потратив на это часы. Любая помощь приветствуется.

redGREENblue

Популярные ответы

Просто пример того, как вы можете анализировать некоторые элементы, используя Html Agility Pack

public string ParseHtml()
{
    string output = null;
    HtmlDocument htmldocument = new HtmlDocument();
    htmldocument.LoadHtml(YourHTML);

    HtmlNode node = htmldocument.DocumentNode;    

    HtmlNodeCollection dds = node.SelectNodes("//dd"); //Select all dd tags
    HtmlNodeCollection anchors = node.SelectNodes("//b/a[@href]"); //Select all 'a' tags that contais href attribute

    for (int i = 0; i < dds.Count; i++)
    {
        string atributteValue = null.
        Text = dds[i].InnerText;
        Url = anchors[i].GetAttributeValue("href", atributteValue);
        AnchorText = anchors[i].InnerText;

        //Your code...
    }
    return output;
}

m.rufca

Подробнее о Stack Overflow

Accepted Answer

Решение 1

Я определил функцию, которая dt узел dt после него вернет следующий узел dd :

private static HtmlNode GetNextDDSibling(HtmlNode dtElement)
{
    var currentNode = dtElement;

    while (currentNode != null)
    {
        currentNode = currentNode.NextSibling;

        if(currentNode.NodeType == HtmlNodeType.Element && currentNode.Name =="dd")
            return currentNode;
    }

    return null;
}

и теперь код LINQ можно преобразовать в:

var parsedValues =
    from info in document.DocumentNode.SelectNodes("//div[@class='content-div']")
    from dtElement in info.SelectNodes("dl/dt")
    let link = dtElement.SelectSingleNode("b/a[@href]")
    let ddElement = GetNextDDSibling(dtElement)
    where link != null && ddElement != null
    select new
    {
        Text = ddElement.InnerHtml,
        Url = link.GetAttributeValue("href", ""),
        AnchorText = link.InnerText
    };

Решение 2

Без дополнительных функций:

var infoNode = 
        document.DocumentNode.SelectSingleNode("//div[@class='content-div']");

var dts = infoNode.SelectNodes("dl/dt");
var dds = infoNode.SelectNodes("dl/dd");

var parsedValues = dts.Zip(dds,
    (dt, dd) => new
    {
        Text = dd.InnerHtml,
        Url = dt.SelectSingleNode("b/a[@href]").GetAttributeValue("href", ""),
        AnchorText = dt.SelectSingleNode("b/a[@href]").InnerText
    });

Анализ dl с помощью HtmlAgilityPack

Вопрос

Fastest Entity Framework Extensions

Принятый ответ

Популярные ответы

Performance

Expression Evaluator

Related