私の主な機能にはこのコードがあり、テーブルの最初の行だけを解析したいとします(例:Nov 7、2017 73.78 74.00 72.32 72.71 17,245,947)。
最初の行だけを終えるノードを作成しましたが、デバッグを開始するときにノード値がnullです。どのようにしてこれらのデータを解析し、たとえば文字列または単一の変数に格納することができますか?方法はありますか?
WebClient web = new WebClient();
string page = web.DownloadString("https://finance.google.com/finance/historical?q=NYSE:C&ei=7O4nV9GdJcHomAG02L_wCw");
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(page);
var node = doc.DocumentNode.SelectSingleNode("//*[@id=\"prices\"]/table/tbody/tr[2]");
List<List<string>> node = doc.DocumentNode.SelectSingleNode("//*[@id=\"prices\"]/table").Descendants("tr").Skip(1).Where(tr => tr.Elements("td").Count() > 1).Select(tr => tr.Elements("td").Select(td=>td.InnerText.Trim()).ToList()).ToList() ;
選択したXPath文字列にエラーがあるようです。 tbody
は生成されたノードなので、パスに含めないでください:
//*[@id=\"prices\"]/table/tr[2]
これはHtmlAgilityPackが他の問題のmalformed html
ヒットする値を読み取るはずです。解析されたテキスト内のすべての<tr>
および<td>
ノードに対応する</tr>
または</td>
終了タグがなく、HtmlAgitilityPackは不正な行のテーブルから値を選択できません。したがって、最初のステップでテーブル全体を選択する必要があります。
//*[@id=\"prices\"]/table
次のステップでは、 </tr>
と</td>
終了タグを追加してHTMLを整理し、修正されたテーブルで解析を繰り返したり、抽出された文字列を使用して手書き解析したりし>
キャラクター。以下に、生解析を示します。コードはテストされ、動作しています。
using System;
using System.Collections.Generic;
using System.IO;
using System.Net;
namespace GoogleFinanceDataScraper
{
class Program
{
static void Main(string[] args)
{
WebClient web = new WebClient();
string page = web.DownloadString("https://finance.google.com/finance/historical?q=NYSE:C&ei=7O4nV9GdJcHomAG02L_wCw");
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(page);
var node = doc.DocumentNode.SelectSingleNode("//div[@id='prices']/table");
string outerHtml = node.OuterHtml;
List<String> data = new List<string>();
using(StringReader reader = new StringReader(outerHtml))
{
for(int i = 0; ; i++)
{
var line = reader.ReadLine();
if (i < 9) continue;
else if (i < 15)
{
var dataRawArray = line.Split(new char[] { '>' });
var value = dataRawArray[1];
data.Add(value);
}
else break;
}
}
Console.WriteLine($"{data[0]}, {data[1]}, {data[2]}, {data[3]}, {data[4]}, {data[5]}");
}
}
}