在处理体量达到数GB的日志、导出数据或爬虫结果时，如果直接使用fs.readFile把文件整体读入内存，Node.js的堆空间会迅速被占满，轻则触发垃圾回收频繁停顿，重则抛出内存溢出错误。Node.js标准库中的readline模块结合流机制，提供了按行消费文件的轻量方案，可以在常量级内存下完成大文件遍历与处理。
Readline与流协同的基础原理
readline本身并不负责打开文件，它的核心职责是根据换行符将输入流中的数据切片，并以行单位向外抛出事件。真正的数据源通常来自fs.createReadStream创建的可读流，该流以固定大小的块（默认64KB）从磁盘读取数据，不会一次性加载整个文件。两者之间通过管道或接口对接，Readline在内部维护一个缓冲区，当遇到n或rn时就提取出一行并通过line事件传出。
这种设计的优势在于背压自然生效。当line事件的回调函数执行较慢，比如需要写数据库或做复杂解析，Node.js流机制会暂停底层读取，避免数据在内存中无限堆积。与之相对，若用readFile读取，数据会先全量进入Buffer再交给回调，内存曲线呈锯齿状暴涨。下面的示例展示了最基础的逐行读取写法：
const fs = require('fs');
const readline = require('readline');
const rl = readline.createInterface({
input: fs.createReadStream('big_file.log'),
crlfDelay: Infinity
});
rl.on('line', (line) => {
// 在此处理每一行，例如统计或过滤
console.log(line.length);
});
rl.on('close', () => {
console.log('文件读取完毕');
});
在上面的代码中，crlfDelay: Infinity用来正确识别Windows与Unix风格的换行符，防止rn被拆成两行。由于每次只保留当前行字符串，堆内存占用与文件总大小无关，仅和单行长度及处理节奏有关。这也是为什么它能稳定应对超大文本。
编码处理与常见陷阱
很多人在用Readline读中文内容时会遇到乱码，根源往往在流的编码设置。如果文件是UTF-8且无BOM，直接传入createReadStream即可，Readline默认按UTF-8解码。但若文件包含GBK等旧编码，Node.js原生流并不会自动转换，此时需要借助iconv-lite之类的库做转码管道，否则按行切出来的字符串会是错误字节序列。
另一个容易被忽略的点是行尾事件与错误事件。网络波动或磁盘异常可能导致流抛出error，若没有监听，进程会直接崩溃。同时，在line回调中如果执行了异步操作且未控制并发，可能出现事件循环被阻塞或数据顺序错乱。推荐在处理异步任务时使用队列或async/await配合信号量。以下代码演示了带错误监听与简单计数的安全模式：
const fs = require('fs');
const readline = require('readline');
async function processFile(path) {
const rl = readline.createInterface({
input: fs.createReadStream(path),
crlfDelay: Infinity
});
let count = 0;
rl.on('line', (line) => {
count++;
// 假设此处有轻量同步处理
if (line.includes('ERROR')) {
console.log('发现错误行:', count);
}
});
rl.on('error', (err) => {
console.error('读取失败:', err.message);
});
await new Promise((resolve) => rl.on('close', resolve));
console.log('总行数:', count);
}
processFile('big_file.log');
通过这种方式，即使文件有几十GB，只要单行不过分巨大，Node.js进程的内存始终维持在较低水位。相比自己用Buffer去indexOf找换行符，Readline已经处理了边界碎片、多字节字符跨块等复杂情况，显著降低出错概率。
结合写入与过滤的实战模式
真实业务中往往不是单纯读行，而是要把符合条件的内容输出到新文件，或聚合统计后入库。此时可以再创建一个可写流，在line事件中调用write方法。由于Readline与可写流都遵循流协议，当可写流缓冲区满，write返回false，我们可以暂存标记并在drain后恢复，从而构建背压闭环，避免内存中积压待写数据。
举例来说，从海量访问日志中提取状态码为500的行并另存，可以用如下结构。该方式下原文件与被写入文件均以流形式存在，全程不落全量数据到内存。同时我们可以在循环里加入简单的正则或字符串方法做判断，处理速度通常能跟上磁盘顺序读写。若需要更高吞吐，还可以批量攒够一定行数再一次性write，减少系统调用开销。
const fs = require('fs');
const readline = require('readline');
function filterLines(src, dest) {
const rl = readline.createInterface({
input: fs.createReadStream(src),
crlfDelay: Infinity
});
const out = fs.createWriteStream(dest);
let paused = false;
rl.on('line', (line) => {
if (line.includes(' 500 ')) {
const ok = out.write(line + 'n');
if (!ok) {
rl.pause();
paused = true;
out.once('drain', () => {
if (paused) {
rl.resume();
paused = false;
}
});
}
}
});
rl.on('close', () => out.end());
}
filterLines('access.log', 'error.log');
上述代码在可写流背压出现时暂停Readline，等drain恢复，保证了内存平稳。如果处理过程涉及远端API，则建议引入并发限制库，以免事件回调中堆积大量未完成Promise。总的来说，Readline为Node.js大文件逐行处理提供了一套既简单又具备工业级可靠性的原语，理解其流本质便能灵活组合出各类数据管道。