在Golang标准库中，直接对文件进行频繁的小数据读写会带来明显的性能损耗，因为每次操作都可能触发一次系统调用。bufio包通过引入内存缓冲区，将多次零散的读写请求合并，从而有效降低系统调用次数。理解bufio.Writer和bufio.Reader的缓存机制，是编写高性能文件处理程序的基础。
bufio.Writer的缓存写入原理
bufio.Writer在内部维护一个字节切片作为缓冲区。当我们调用Write方法时，数据首先被复制到这个缓冲区中，而不是直接写入底层的io.Writer（例如*os.File）。只有当缓冲区被填满，或者我们显式调用Flush方法时，缓冲区内积累的数据才会一次性写入目标。这种设计大幅减少了磁盘I/O的次数。
需要注意的是，如果程序在写入后没有调用Flush就退出，缓冲区里残留的数据将会丢失。因此在涉及关键数据写入时，必须保证Flush被正确执行，通常配合defer来确保资源释放与数据落盘。
基础使用示例
下面的代码展示了如何使用bufio.Writer向文件写入多行内容，并在结束时刷新缓冲区：
package main
import (
"bufio"
"os"
"fmt"
)
func main() {
// 创建或截断文件
f, err := os.Create("demo.txt")
if err != nil {
fmt.Println("创建文件失败:", err)
return
}
// 使用defer确保文件关闭
defer f.Close()
// 创建带4096字节缓冲区的Writer
writer := bufio.NewWriterSize(f, 4096)
// 写入多行数据，此时数据在内存缓冲中
for i := 0; i < 10; i++ {
line := fmt.Sprintf("这是第%d行内容n", i)
writer.WriteString(line)
}
// 将缓冲区数据真正写入文件
if err := writer.Flush(); err != nil {
fmt.Println("刷新缓冲区失败:", err)
}
}
上述代码中，即使循环写入了十次，实际对操作系统的写入可能只有一次（如果数据量小于缓冲区）。通过NewWriterSize我们可以自定义缓冲区大小，默认情况下NewWriter会使用4096字节。
缓冲区大小的选择
缓冲区并不是越大越好。较小的缓冲区在写入频繁但单次数据少的场景下，依然会产生较多系统调用；而过大的缓冲区会占用更多内存，且在Flush之前数据滞留在内存中的风险更高。一般建议根据单次写入数据规模和频率来设定，例如日志系统常用4KB到64KB之间的缓冲。
另外，bufio.Writer还提供了Available方法查看剩余缓冲空间，Buffered方法查看当前已缓冲字节数，这在需要精确控制刷盘时机时非常有用。
bufio.Reader的缓存读取原理
与Writer相反，bufio.Reader在读取时会从底层io.Reader一次性读取比请求更多的数据放入缓冲区。后续的小块读取直接从内存缓冲区获取，避免反复发起系统调用。它在内部维护读取位置，并自动在缓冲区耗尽时填充下一批数据。
这种预读机制特别适合按字节、按行或按单词解析大文件的场景。如果没有缓冲，每次ReadByte都可能访问磁盘，效率极低。
按行读取文件示例
我们可以使用bufio.Reader的ReadString或ReadLine方法来逐行处理文件内容：
package main
import (
"bufio"
"os"
"fmt"
"strings"
)
func main() {
f, err := os.Open("demo.txt")
if err != nil {
fmt.Println("打开文件失败:", err)
return
}
defer f.Close()
// 创建默认缓冲大小的Reader
reader := bufio.NewReader(f)
for {
// 读取直到遇见换行符
line, err := reader.ReadString('n')
if len(line) > 0 {
// 去除结尾换行符方便处理
fmt.Print("读到内容: ", strings.TrimRight(line, "n"))
}
// 遇到文件结束或错误时退出
if err != nil {
break
}
}
}
在上面的逻辑里，ReadString会在遇到分隔符或文件结束时返回。通过bufio.Reader读取，程序在遍历文件每一行时，底层可能只发起了很少几次真实的磁盘读请求，其余数据都来自内存缓冲。
常用读取方法对比
除了ReadString，bufio.Reader还提供ReadLine、ReadBytes、ReadByte等方法。ReadLine更底层，返回的是不包含换行符的切片且可能需拼接；ReadBytes与ReadString类似但返回字节切片。在文本处理时，ReadString因返回字符串而更直观，但要注意它会在出错时也返回已读数据。
| 方法 | 返回类型 | 适用场景 |
|---|---|---|
| ReadString | string | 按分隔符读取文本行 |
| ReadBytes | []byte | 需要字节级处理的情况 |
| ReadLine | ([]byte, bool, error) | 超长行需分段拼接的低层控制 |
综合应用与注意事项
在实际项目中，常常将bufio.Writer和bufio.Reader组合使用，例如实现一个简单的文件拷贝并同时进行内容过滤。此时要注意：写端必须Flush，读端需处理错误返回值，且不要对同一底层文件描述符混用缓冲和非缓冲操作，以免数据视图不一致。
此外，bufio包并不保证线程安全。如果多个goroutine并发写入同一个bufio.Writer，必须借助sync.Mutex等机制加锁，否则会导致缓冲区数据错乱。对于高并发日志场景，更推荐使用专门日志库或在写入前通过channel聚合数据。
一个写入并读回的示例
下面示例演示先缓冲写入再重新用缓冲读回：
package main
import (
"bufio"
"os"
"fmt"
)
func main() {
f, _ := os.Create("test.txt")
w := bufio.NewWriter(f)
w.WriteString("hello bufion")
w.WriteString("second linen")
w.Flush()
f.Close()
// 重新打开读取
rf, _ := os.Open("test.txt")
defer rf.Close()
r := bufio.NewReader(rf)
for {
s, err := r.ReadString('n')
if s != "" {
fmt.Print("输出: ", s)
}
if err != nil {
break
}
}
}
通过该例子可以看到，缓冲写入和读取的接口非常简洁，但背后已经帮我们完成了系统调用优化。掌握这些缓存操作方法，能够让你在Golang文件处理中写出既高效又稳健的代码。
Golangbufio_Writerbufio_Reader修改时间：2026-08-06 15:54:41