C#wikiページのデータをスクレイプする(スクリーンスクレイピング)

c# html-agility-pack screen screen-scraping

質問

私はWikiページを掻きたい。具体的には、 この1つです。

私のアプリでは、ユーザーは車両の登録番号(たとえばSBS8988Z)を入力できるようになり、関連情報(ページ自体にある)が表示されます。

たとえば、ユーザーがSBS8988Zをアプリケーションのテキストフィールドに入力すると、そのwikiページの行が検索されます

SBS8988Z (SLBP 192/194*) - F&N NutriSoy Fresh Milk: Singapore's No. 1 Soya Milk! (2nd Gen)

返品SBS8988Z(SLBP 192/194 *) - F&N NutriSoy Fresh Milk:シンガポールのNo.1大豆ミルク! (第2世代)。

私のコードはこれまで(さまざまなウェブサイトからコピーして編集しています)...

WebClient getdeployment = new WebClient();
string url = "http://sgwiki.com/wiki/Scania_K230UB_(Batch_1_Euro_V)";

getdeployment.Headers["User-Agent"] = "NextBusApp/GetBusData UserAgent";
string sgwikiresult = getdeployment.DownloadString(url); // <<< EXCEPTION
MessageBox.Show(sgwikiresult); //for debugging only!

HtmlAgilityPack.HtmlDocument sgwikihtml = new HtmlAgilityPack.HtmlDocument();
sgwikihtml.Load(new StreamReader(sgwikiresult));
HtmlNode root = sgwikihtml.DocumentNode;

List<string> anchorTags = new List<string>();   

foreach(HtmlNode deployment in root.SelectNodes("SBS8988Z"))
{
    string att = deployment.OuterHtml;
    anchorTags.Add(att);
}

しかし、私はArgumentExceptionが処理されていない - パスの不正な文字を取得しています。

コードの何が間違っていますか?これを行う簡単な方法はありますか?私はHtmlAgilityPackを使用していますが、より良い解決策がある場合は、私は喜んで準拠します。

受け入れられた回答

コードの何が間違っていますか?鈍くするには、すべて。 :P

ページはあなたがそれを読んでいるようにフォーマットされていません。あなたはそのような目的のコンテンツを得ることを望むことはできません。

ページの内容(興味がある部分)は次のようになります。

<h2>
<span id="Deployments" class="mw-headline">Deployments</span>
</h2>
<p>
    <!-- ... -->
    <b>SBS8987B</b>
    (SLBP 192/194*)
    <br>
    <b>SBS8988Z</b>
    (SLBP 192/194*) - F&amp;N NutriSoy Fresh Milk: Singapore's No. 1 Soya Milk! (2nd Gen)
    <br>
    <b>SBS8989X</b>
    (SLBP SP)
    <br>
    <!-- ... -->
</p>

基本的には、私たちが探している登録番号を含むb要素を見つける必要があります。要素を見つけたら、テキストを取得してまとめて結果を構成します。ここはコードです:

static string GetVehicleInfo(string reg)
{
    var url = "http://sgwiki.com/wiki/Scania_K230UB_%28Batch_1_Euro_V%29";

    // HtmlWeb is a helper class to get pages from the web
    var web = new HtmlAgilityPack.HtmlWeb();

    // Create an HtmlDocument from the contents found at given url
    var doc = web.Load(url);

    // Create an XPath to find the `b` elements which contain the registration numbers
    var xpath = "//h2[span/@id='Deployments']" // find the `h2` element that has a span with the id, 'Deployments' (the header)
              + "/following-sibling::p[1]"     // move to the first `p` element (where the actual content is in) after the header
              + "/b";                          // select the `b` elements

    // Get the elements from the specified XPath
    var deployments = doc.DocumentNode.SelectNodes(xpath);

    // Create a LINQ query to find the  requested registration number and generate a result
    var query =
        from b in deployments                 // from the list of registration numbers
        where b.InnerText == reg              // find the registration we're looking for
        select reg + b.NextSibling.InnerText; // and create the result combining the registration number with the description (the text following the `b` element)

    // The query should yield exactly one result (or we have a problem) or none (null)
    var content = query.SingleOrDefault();

    // Decode the content (to convert stuff like "&amp;" to "&")
    var decoded = System.Net.WebUtility.HtmlDecode(content);

    return decoded;
}



ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ
ライセンスを受けた: CC-BY-SA with attribution
所属していない Stack Overflow
このKBは合法ですか? はい、理由を学ぶ