在C#开发中，当面对几个GB甚至更大的xml数据流时，使用XmlDocument或XDocument整体加载会消耗大量内存，严重时导致程序崩溃。借助System.Xml命名空间下的XmlReader，可以以只进、只读的方式从流中分块提取数据，有效控制内存占用。
为什么要用XmlReader分块读取
传统的DOM解析会把整棵xml树放到内存，而XmlReader基于流，每次只在内存中保留当前节点信息。对于以下几种场景特别合适：
- 日志类大xml文件的分析
- 从网络响应流中逐步处理xml
- 批量数据导入时避免内存峰值
使用XmlReader从文件流分块读取
下面示例展示如何从一个大的xml文件中按<record>节点分块读取并处理，每次只处理一条记录。
using System;
using System.Xml;
using System.IO;
class Program
{
static void Main()
{
// 以文件流方式打开大xml文件
using (FileStream fs = new FileStream("bigdata.xml", FileMode.Open, FileAccess.Read))
using (XmlReader reader = XmlReader.Create(fs))
{
while (reader.Read())
{
// 遇到record元素的开始标签时进入分块处理
if (reader.NodeType == XmlNodeType.Element && reader.Name == "record")
{
// 读取当前record节点的内部xml作为一块数据
string block = reader.ReadOuterXml();
ProcessBlock(block);
}
}
}
}
static void ProcessBlock(string xmlBlock)
{
// 这里可以解析单条记录并写入数据库或做其他处理
Console.WriteLine("处理块大小: " + xmlBlock.Length);
}
}
从网络流分块读取
如果是从Http响应流读取大xml，也可以用同样思路，把Stream传给XmlReader即可。
using System;
using System.Net.Http;
using System.Xml;
using System.Threading.Tasks;
class WebXmlReader
{
static async Task ReadFromWebAsync(string url)
{
using (HttpClient client = new HttpClient())
using (Stream stream = await client.GetStreamAsync(url))
using (XmlReader reader = XmlReader.Create(stream))
{
while (reader.Read())
{
if (reader.NodeType == XmlNodeType.Element && reader.Name == "item")
{
string block = reader.ReadOuterXml();
Console.WriteLine("收到数据块");
}
}
}
}
}
分块读取的注意事项
使用XmlReader时需要注意以下几点：
- ReadOuterXml会跳过当前节点及其子节点，适合按块提取
- 不要在被ReadOuterXml消费后的节点上再次读取，否则会漏数据
- 如果xml带有命名空间，reader.Name可能包含前缀，可用reader.LocalName判断
处理带命名空间的xml
using System;
using System.Xml;
using System.IO;
class NsReader
{
static void Run()
{
using (StreamReader sr = new StreamReader("nsdata.xml"))
using (XmlReader reader = XmlReader.Create(sr))
{
while (reader.Read())
{
if (reader.NodeType == XmlNodeType.Element && reader.LocalName == "order")
{
string block = reader.ReadOuterXml();
Console.WriteLine(block);
}
}
}
}
}
小结
通过XmlReader配合文件流或网络流，C#可以轻松实现大xml数据的分块读取，将内存占用维持在很低水平。开发中只要围绕节点类型判断与ReadOuterXml提取，就能写出稳定高效的大文件处理程序。