HtmlAgilityPack:xpathと正規表現

c# html-agility-pack regex

質問

私は現在、xpathクエリを介して特定のコンテンツを検索するためにHtmlAgilityPackを使用しています。このようなもの:

var col = doc.DocumentNode.SelectNodes("//*[text()[contains(., 'foo'] or @*....

今、私は、正規表現を使用して、すべてのHTMLソースコード(=テキスト、タグ、および属性)の特定のコンテンツを検索したいと考えています。これはHtmlAgilityPackでどのように実現できますか? HtmlAgilityPackはxpath + regexを処理できますか、正規表現とHtmlAgilityPackを使用して検索する最良の方法は何ですか?

受け入れられた回答

Html Agility Packは、XPATHサポートのために基礎となる.NET XPATH実装を使用します。幸いにも.NETのXPATHは完全に拡張性があります(これほど素晴らしい技術にはMicrosoftがこれ以上投資しないのは残念ですが...)。

だから、私はこのhtmlがあると仮定しよう:

<div>hello</div>
<div>hallo</div>

以下は、ノードを 'h.llo'正規表現と比較するため、両方のノードを選択するサンプルコードです:

HtmlNodeNavigator nav = new HtmlNodeNavigator("mypage.htm");
foreach (var node in SelectNodes(nav, "//div[regex-is-match(text(), 'h.llo')]"))
{
    Console.WriteLine(node.OuterHtml); // should dump both div elements
}

これは、私が "regex-is-match"という新しいXPATH関数を定義した特別なXslt / XPathコンテキストを使用しているために機能します。 SelectNodesユーティリティーコードは次のとおりです。

public static IEnumerable<HtmlNode> SelectNodes(HtmlNodeNavigator navigator, string xpath)
{
    if (navigator == null)
        throw new ArgumentNullException("navigator");

    XPathExpression expr = navigator.Compile(xpath);
    expr.SetContext(new HtmlXsltContext());

    object eval = navigator.Evaluate(expr);
    XPathNodeIterator it = eval as XPathNodeIterator;
    if (it != null)
    {
        while (it.MoveNext())
        {
            HtmlNodeNavigator n = it.Current as HtmlNodeNavigator;
            if (n != null && n.CurrentNode != null)
            {
                yield return n.CurrentNode;
            }
        }
    }
}

サポートコードは次のとおりです。

    public class HtmlXsltContext : XsltContext
    {
        public HtmlXsltContext()
            : base(new NameTable())
        {
        }

        public override int CompareDocument(string baseUri, string nextbaseUri)
        {
            throw new NotImplementedException();
        }

        public override bool PreserveWhitespace(XPathNavigator node)
        {
            throw new NotImplementedException();
        }

        protected virtual IXsltContextFunction CreateHtmlXsltFunction(string prefix, string name, XPathResultType[] ArgTypes)
        {
            return HtmlXsltFunction.GetBuiltIn(this, prefix, name, ArgTypes);
        }

        public override IXsltContextFunction ResolveFunction(string prefix, string name, XPathResultType[] ArgTypes)
        {
            return CreateHtmlXsltFunction(prefix, name, ArgTypes);
        }

        public override IXsltContextVariable ResolveVariable(string prefix, string name)
        {
            throw new NotImplementedException();
        }

        public override bool Whitespace
        {
            get { return true; }
        }
    }

    public abstract class HtmlXsltFunction : IXsltContextFunction
    {
        protected HtmlXsltFunction(HtmlXsltContext context, string prefix, string name, XPathResultType[] argTypes)
        {
            Context = context;
            Prefix = prefix;
            Name = name;
            ArgTypes = argTypes;
        }

        public HtmlXsltContext Context { get; private set; }
        public string Prefix { get; private set; }
        public string Name { get; private set; }
        public XPathResultType[] ArgTypes { get; private set; }

        public virtual int Maxargs
        {
            get { return Minargs; }
        }

        public virtual int Minargs
        {
            get { return 1; }
        }

        public virtual XPathResultType ReturnType
        {
            get { return XPathResultType.String; }
        }

        public abstract object Invoke(XsltContext xsltContext, object[] args, XPathNavigator docContext);

        public static IXsltContextFunction GetBuiltIn(HtmlXsltContext context, string prefix, string name, XPathResultType[] argTypes)
        {
            if (name == "regex-is-match")
                return new RegexIsMatch(context, name);

            // TODO: create other functions here
            return null;
        }

        public static string ConvertToString(object argument, bool outer, string separator)
        {
            if (argument == null)
                return null;

            string s = argument as string;
            if (s != null)
                return s;

            XPathNodeIterator it = argument as XPathNodeIterator;
            if (it != null)
            {
                if (!it.MoveNext())
                    return null;

                StringBuilder sb = new StringBuilder();
                do
                {
                    HtmlNodeNavigator n = it.Current as HtmlNodeNavigator;
                    if (n != null && n.CurrentNode != null)
                    {
                        if (sb.Length > 0 && separator != null)
                        {
                            sb.Append(separator);
                        }

                        sb.Append(outer ? n.CurrentNode.OuterHtml : n.CurrentNode.InnerHtml);
                    }
                }
                while (it.MoveNext());
                return sb.ToString();
            }

            IEnumerable enumerable = argument as IEnumerable;
            if (enumerable != null)
            {
                StringBuilder sb = null;
                foreach (object arg in enumerable)
                {
                    if (sb == null)
                    {
                        sb = new StringBuilder();
                    }

                    if (sb.Length > 0 && separator != null)
                    {
                        sb.Append(separator);
                    }

                    string s2 = ConvertToString(arg, outer, separator);
                    if (s2 != null)
                    {
                        sb.Append(s2);
                    }
                }
                return sb != null ? sb.ToString() : null;
            }

            return string.Format("{0}", argument);
        }

        public class RegexIsMatch : HtmlXsltFunction
        {
            public RegexIsMatch(HtmlXsltContext context, string name)
                : base(context, null, name, null)
            {
            }

            public override XPathResultType ReturnType { get { return XPathResultType.Boolean; } }
            public override int Minargs { get { return 2; } }

            public override object Invoke(XsltContext xsltContext, object[] args, XPathNavigator docContext)
            {
                if (args.Length < 2)
                    return false;

                return Regex.IsMatch(ConvertToString(args[0], false, null), ConvertToString(args[1], false, null));
            }
        }
    }

regex関数は、最後にRegexIsMatchというクラスに実装されています。超複雑ではありません。注意すべき点は、任意のxpath「もの」を非常に便利な文字列に変換しようとするユーティリティ関数ConvertToStringです。

もちろん、このテクノロジでは、必要なXPATH関数を非常に小さなコードで定義することができます(これは大文字小文字の変換を行うために常に使用しています...)。


人気のある回答

直接引用

私は、HTMLはChomsky Type 2文法(文脈自由文法)であり、RegExはChomsky Type 3文法(正規文法)であるというのがこの欠陥です。タイプ2の文法は、タイプ3の文法(基本的にチョムスキーの階層を参照)よりも基本的に複雑であるため、この作業を行うことはできません。しかし、多くは試みます、いくつかは成功を主張し、他の人は間違いを見つけてあなたを完全に台無しにします。

HTML文書のいくつかの部分で正規表現を使用するのが理にかなっているかもしれません。 HtmlAgilityPackを使用してHTML文書のタグや構造体で正規表現を実行しようとすると、 HtmlAgilityPackで最終的には問題への普遍的な解決策を提供できません。



ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ
ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ