在C#开发场景中，GB级别的大文本文件处理是很多开发者会遇到的难题，常规的File.ReadAllText或者File.ReadAllLines方法会将整个文件内容一次性加载到内存中，对于GB级别的文件来说，内存占用会瞬间飙升，很容易导致程序抛出内存溢出异常。因此需要采用流式、分段的方式读取文件，控制每次加载到内存的数据量，才能在保证读取效率的同时避免内存问题。
常规读取方式的弊端
首先来看常规的整文件读取方式，这种方式仅适合小文件场景，代码如下：
// 仅适合小文件，GB级文件禁止使用
string content = File.ReadAllText("large_file.txt");
string[] lines = File.ReadAllLines("large_file.txt");
这种方式的缺陷非常明显，它会把文件的所有内容一次性加载到内存的字符串或字符串数组中，假设文件大小是2GB，那么内存中至少需要占用2GB以上的空间来存储这些内容，普通的应用进程很难承受这样的内存开销，很容易触发OutOfMemoryException异常。
高效读取方案
方案一：使用FileStream分段读取
FileStream是C#中处理文件流的底层类，可以指定每次读取的字节数，实现分段读取，控制内存占用。示例代码如下：
using System;
using System.IO;
class Program
{
static void Main()
{
string filePath = "large_file.txt";
// 每次读取1MB的数据，可自定义调整大小
int bufferSize = 1024 * 1024;
byte[] buffer = new byte[bufferSize];
using (FileStream fs = new FileStream(filePath, FileMode.Open, FileAccess.Read))
{
int bytesRead;
// 循环读取，直到文件读完
while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)
{
// 将读取到的字节转换为字符串处理，注意编码要和文件编码一致
string segment = System.Text.Encoding.UTF8.GetString(buffer, 0, bytesRead);
// 这里处理每一段读取到的内容，比如按行拆分、做数据解析等
ProcessSegment(segment);
}
}
}
static void ProcessSegment(string segment)
{
// 自定义处理逻辑，比如输出内容长度
Console.WriteLine($"读取到段落，长度：{segment.Length}");
}
}
这种方式的优势是内存占用可控，每次最多只会在内存中存放1MB的数据，即使文件再大也不会出现内存溢出的问题。不过需要注意文件编码的问题，如果文件不是UTF8编码，需要替换对应的编码类型，比如GBK编码可以使用Encoding.GetEncoding("GBK")。
方案二：结合StreamReader按行读取
如果大文本文件是行结构，需要按行处理内容，那么可以结合StreamReader使用，StreamReader会自动处理编码问题，并且可以按行读取，无需自己拆分字符串。示例代码如下：
using System;
using System.IO;
class Program
{
static void Main()
{
string filePath = "large_file.txt";
// 使用using确保资源释放
using (StreamReader sr = new StreamReader(filePath, System.Text.Encoding.UTF8))
{
string line;
// 逐行读取，每次只加载一行到内存
while ((line = sr.ReadLine()) != null)
{
// 处理每一行的内容
ProcessLine(line);
}
}
}
static void ProcessLine(string line)
{
// 自定义行处理逻辑，比如统计行长度
Console.WriteLine($"当前行长度：{line.Length}");
}
}
这种方式对于行结构的文本文件非常友好，每次只会将一行内容加载到内存中，内存占用极低，处理速度也比较快。不过如果单行内容特别长，比如一行有几十MB，那么还是可能占用较多内存，这种情况可以结合分段读取的方式处理。
方案三：异步读取提升IO效率
如果程序是界面应用或者需要同时处理其他任务，同步读取会阻塞当前线程，此时可以使用异步读取的方式，提升程序的响应速度。示例代码如下：
using System;
using System.IO;
using System.Threading.Tasks;
class Program
{
static async Task Main()
{
string filePath = "large_file.txt";
using (FileStream fs = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read, 1024 * 1024, useAsync: true))
using (StreamReader sr = new StreamReader(fs, System.Text.Encoding.UTF8))
{
string line;
while ((line = await sr.ReadLineAsync()) != null)
{
ProcessLine(line);
// 如果需要可以加入异步等待，避免CPU占用过高
await Task.Yield();
}
}
}
static void ProcessLine(string line)
{
Console.WriteLine($"异步读取到行，长度：{line.Length}");
}
}
异步读取不会阻塞主线程，适合在UI程序或者需要高并发的场景下使用，不过异步操作本身会有一定的开销，如果是纯控制台的后台处理程序，同步读取的效率会更高一些。
不同方案的适用场景对比
为了帮助开发者选择合适的读取方案，这里整理了不同方案的适用场景对比：
| 方案 | 适用场景 | 内存占用 | 处理效率 |
|---|---|---|---|
| FileStream分段读取 | 非行结构文件、需要自定义分段大小 | 低，可控 | 高 |
| StreamReader按行读取 | 行结构文本文件、按行处理需求 | 极低，仅单行内存 | 较高 |
| 异步读取方案 | UI程序、需要非阻塞IO的场景 | 低，和同步方案一致 | 略低于同步方案 |
注意事项
- 读取大文件时一定要使用
using语句或者手动释放文件流资源，避免文件句柄泄漏，导致后续无法访问文件。 - 如果处理过程中需要频繁操作读取到的内容，尽量复用对象，避免频繁创建和销毁对象带来额外的内存开销和GC压力。
- 如果文件是压缩格式，比如gzip压缩的文本文件，可以先使用
GZipStream解压再读取，同样采用流式处理的方式，避免解压后整个文件加载到内存。 - 如果读取过程中需要写入新的文件，同样采用流式写入的方式，不要一次性把所有处理结果缓存到内存中再写入。
通过以上几种方案，基本可以覆盖C#读取GB级别大文本文件的各类场景，开发者可以根据实际的文件结构、处理需求和运行环境选择最合适的方案，在保证程序稳定运行的前提下提升处理效率。
C#读取大文本文件GB级别文件读取FileStreamStreamReader内存优化修改时间：2026-06-14 09:39:38