Dot-Net

性能:XmlReader 或 LINQ to XML

  • August 31, 2017

我有一個 150 MB 的 XML 文件,在我的項目中用作數據庫。目前我正在使用XmlReader它來讀取內容。我想知道在XmlReader這種情況下使用 LINQ to XML 是否更好。

請注意,我正在此 XML 中搜尋一個項目並顯示搜尋結果,因此它可能需要很長時間或片刻。

如果您想要性能,請使用 XMLReader。它不會讀取整個文件並在記憶體中建構 DOM 樹。相反,它會從磁碟讀取文件並返回它在途中找到的每個節點。

通過快速的 google 搜尋,我發現了 XMLReader、LinqToXML 和 XDocument.Load 的性能比較。

https://web.archive.org/web/20130517114458/http://www.nearinfinity.com/blogs/joe_ferner/performance_linq_to_sql_vs.html

我個人會考慮利用 Microsoft 幫助文件中概述的流技術使用 Linq to Xml:http: //msdn.microsoft.com/en-us/library/system.xml.linq.xstreamingelement.aspx#Y1392

這是一個使用簡單過濾器從 200mb xml 文件中讀取的快速基準測試:

var xmlFilename = "test.xml";

//create test xml file
var initMemoryUsage = GC.GetTotalMemory(true);
var timer = System.Diagnostics.Stopwatch.StartNew();
var rand = new Random();
var testDoc = new XStreamingElement("root", //in order to stream xml output XStreamingElement needs to be used for all parent elements of collection so no XDocument
   Enumerable.Range(1, 10000000).Select(idx => new XElement("child", new XAttribute("id", rand.Next(0, 1000))))
);
testDoc.Save(xmlFilename);
var outStat = String.Format("{0:f2} sec {1:n0} kb //linq to xml ouput streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//linq to xml not streamed
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col1 = XDocument.Load(xmlFilename).Root.Elements("child").Where(e => (int)e.Attribute("id") < 10).Select(e => (int)e.Attribute("id")).ToArray();
var stat1 = String.Format("{0:f2} sec {1:n0} kb //linq to xml input not streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//xmlreader
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col2 = new List<int>();
using (var reader = new XmlTextReader(xmlFilename))
{
   while (reader.ReadToFollowing("child"))
   {
       reader.MoveToAttribute("id");
       int value = Convert.ToInt32(reader.Value);
       if (value < 10)
           res2.Add(value);
   }
}
var stat2 = String.Format("{0:f2} sec {1:n0} kb //xmlreader", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//linq to xml streamed
initMemoryUsage = GC.GetTotalMemory(true);
timer.Restart();
var col3 = StreamElements(xmlFilename, "child").Where(e => (int)e.Attribute("id") < 10).Select(e => (int)e.Attribute("id")).ToArray();
var stat3 = String.Format("{0:f2} sec {1:n0} kb //linq to xml input streamed", timer.Elapsed.TotalSeconds, (GC.GetTotalMemory(false) - initMemoryUsage) / 1024);

//util method
public static IEnumerable<XElement> StreamElements(string filename, string elementName)
{
   using (var reader = XmlTextReader.Create(filename))
   {
       while (reader.Name == elementName || reader.ReadToFollowing(elementName))
           yield return (XElement)XElement.ReadFrom(reader);
   }
}

這是我機器上的處理時間和記憶體使用情況:

11.49 sec 225 kb      // linq to xml ouput streamed

17.36 sec 782,312 kb  // linq to xml input not streamed
6.52 sec 1,825 kb     // xmlreader
11.74 sec 2,238 kb    // linq to xml input streamed

引用自:https://stackoverflow.com/questions/2735434