Obtenir des liens avec des mots spécifiques à partir d'un code HTML en C #

Question

Obtenir des liens avec des mots spécifiques à partir d'un code HTML en C #

c# html-agility-pack regex

Question

J'essaie d'analyser un site Web. J'ai besoin de liens dans un fichier HTML contenant des mots spécifiques. Je sais comment trouver les attributs "href", mais je n'ai pas besoin de tous les attributs. Par exemple, puis-je utiliser regex dans HtmlAgilityPack?

HtmlNode links = document.DocumentNode.SelectSingleNode("//*[@id='navigation']/div/ul");

foreach (HtmlNode urls in document.DocumentNode.SelectNodes("//a[@]"))
{
    this.dgvurl.Rows.Add(urls.Attributes["href"].Value);
}

J'essaie ceci pour trouver tous les liens dans le code HTML.

Ali Zeinalzadeh

Réponse populaire

Je trouve ceci et cela fonctionne pour moi.

HtmlNode links = document.DocumentNode.SelectSingleNode("//*[@id='navigation']/div/ul");
    foreach (HtmlNode urls in document.DocumentNode.SelectNodes("//a[@]"))
        {
           var temp = catagory.Attributes["href"].Value;
           if (temp.Contains("some_word"))
              {
                dgv.Rows.Add(temp);
              }
        }

Ali Zeinalzadeh

Voir plus sur Stack Overflow

Accepted Answer

Si vous avez un fichier HTML comme celui-ci:

<div class="a">
    <a href="http://www.website.com/"></a>
    <a href="http://www.website.com/notfound"></a>
    <a href="http://www.website.com/theword"></a>
    <a href="http://www.website.com/sub/theword"></a>
    <a href="http://www.website.com/theword.html"></a>
    <a href="http://www.website.com/other"></a>
</div>

Et vous recherchez par exemple les mots suivants: theword et other . Vous pouvez définir une expression régulière, puis utiliser LINQ pour obtenir les liens avec un attribut href correspondant à votre expression régulière, comme ceci:

Regex regex = new Regex("(theworld|other)", RegexOptions.IgnoreCase);

HtmlNode node = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='a']");
List<HtmlNode> nodeList = node.SelectNodes(".//a").Where(a => regex.IsMatch(a.Attributes["href"].Value)).ToList<HtmlNode>();

List<string> urls = new List<string>();

foreach (HtmlNode n in nodeList)
{
    urls.Add(n.Attributes["href"].Value);
}

Notez qu'il existe un mot clé contains avec XPATH, mais vous devrez dupliquer la condition pour chaque mot que vous recherchez comme:

node.SelectNodes(".//a[contains(@href,'theword') or contains(@href,'other')]")

Il y a aussi un matches mot - clé pour XPATH, malheureusement , il est uniquement disponible avec XPath 2.0 et HtmlAgilityPack utilise XPath 1.0. Avec XPATH 2.0, vous pourriez faire quelque chose comme ceci:

node.SelectNodes(".//a[matches(@href,'(theword|other)')]")

Obtenir des liens avec des mots spécifiques à partir d'un code HTML en C #

Question

Fastest Entity Framework Extensions

Réponse acceptée

Réponse populaire

Performance

Expression Evaluator

Related