RAM 집중 C # 프로세스가 몇 시간이 지나면 느려짐

나는 HTML 페이지를 지속적으로 파싱 할 책임이있는 서버에서 C # 프로세스 (서비스)를 실행한다. HTMLAgilityPack을 사용합니다. 증상은 시간이 지남에 따라 느려지고 느려집니다.

프로세스를 시작할 때 n 페이지 / s를 처리합니다. 몇 시간 후에 속도는 약 n / 2 페이지 / s로 떨어집니다. 며칠 후 n / 10까지 내려갈 수 있습니다. 이 현상은 여러 번 관찰되었으며 다소 결정적입니다. 프로세스가 다시 시작될 때마다 정상적으로 돌아갑니다.

매우 중요한 점은 동일한 프로세스에서 다른 계산을 실행할 수 있으며 속도가 느려지지 않는다는 것입니다. 언제든지 원하는대로 100 % CPU에 도달 할 수 있습니다. 프로세스 자체가 느리지는 않습니다. HTML 구문 분석 만 속도가 느려집니다.

나는 최소한의 코드로 그것을 재현 할 수있다. (실제로 원래의 서비스에서의 행동은 좀 더 극단적이지만 여전히이 코드는 동작을 재현한다.)

public static void Main(string[] args) {
    string url = "https://en.wikipedia.org/wiki/History_of_Texas_A%26M_University";
    string html = new HtmlWeb().Load(url).DocumentNode.OuterHtml;
    while (true) {
        //Processing
        Stopwatch sw = new Stopwatch();
        sw.Start();
        Parallel.For(0, 10000, i => new HtmlDocument().LoadHtml(html));
        sw.Stop();
        //Logging
        using(var writer = File.AppendText("c:\\parsing.log")) {
            string text = DateTime.Now.ToString() + ";" + (int) sw.Elapsed.TotalSeconds;
            writer.WriteLine(text);
            Console.WriteLine(text);
        }
    }
}

이 최소 코드를 사용하면 프로세스가 시작된 후 경과 한 시간 수에 따라 속도 (초당 페이지 수)가 표시됩니다.

모든 명백한 원인은 배제되었습니다.

• HTML 페이지가 더 크거나 다른 경우 (최소 코드에서는 동일한 페이지 임)
• 전체 RAM : 프로세스가 32GB에서 약 500MB를 사용합니다.
• 다른 프로세스는 CPU 또는 RAM을 사용합니다.

그것은 RAM과 메모리 할당에 관한 것이 될 수 있습니다. HTMLAgilityPack은 많은 작은 객체 메모리 할당 (HTML 노드와 문자열)을 만든다는 것을 알고 있습니다. 명확한 메모리 할당과 멀티 스레딩은 잘 작동하지 않습니다. 그러나 나는 그 과정이 어떻게 느리고 느리게 될 수 있는지 이해하지 못한다.

일부 RAM 집중 (많은 할당) 처리 속도가 느려지고 느려질 수있는 CLR 또는 Windows에 대해 알고 있습니까? 예를 들어 특정 방식으로 메모리 할당을하는 스레드에 불이익을주는 것과 같은가?