在Golang的IO编程中，频繁的读写操作如果直接调用底层接口，会产生大量的系统调用开销，导致程序性能下降。bufio包通过引入缓冲区机制，将多次小的读写操作合并为更少次的系统调用，从而显著提升IO效率，是Golang中处理IO操作的常用优化手段。
bufio的核心原理
bufio的核心思想是在内存中开辟一块缓冲区，读写操作先和缓冲区交互，当缓冲区满或者需要刷新时，再和底层IO对象进行交互。这样就避免了每次读写都触发系统调用，减少了内核态和用户态的切换次数。
bufio主要包含两个核心结构体：bufio.Reader和bufio.Writer，分别用于缓冲读取和缓冲写入，底层都依赖一个[]byte类型的缓冲区和一个io.Reader或io.Writer接口实例。
使用bufio.Reader提升读取效率
基本使用方式
创建bufio.Reader需要传入一个实现了io.Reader接口的对象，比如文件、网络连接等。以下是读取文件内容的示例：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
// 打开文件，得到os.File对象，os.File实现了io.Reader接口
file, err := os.Open("test.txt")
if err != nil {
fmt.Println("打开文件失败:", err)
return
}
defer file.Close()
// 创建缓冲读取器，默认缓冲区大小为4096字节
reader := bufio.NewReader(file)
// 循环读取内容，每次读取一行
for {
line, err := reader.ReadString('n')
if err != nil {
// 读取到文件末尾，退出循环
if err.Error() == "EOF" {
// 处理最后一行可能没有换行符的情况
if len(line) > 0 {
fmt.Print(line)
}
break
}
fmt.Println("读取失败:", err)
return
}
fmt.Print(line)
}
}
常用读取方法
Read(p []byte) (n int, err error)：读取数据到p中，返回读取的字节数和错误ReadString(delim byte) (string, error)：读取直到遇到指定的分隔符delim，返回包含分隔符的字符串ReadLine() (line []byte, isPrefix bool, err error)：读取一行数据，不包含行尾的换行符Peek(n int) ([]byte, error)：返回缓冲区中的前n个字节，但不移动读取位置
使用bufio.Writer提升写入效率
基本使用方式
bufio.Writer用于将写入的数据先缓存到缓冲区，当缓冲区满或者手动调用Flush方法时，才会将数据写入底层IO对象。以下是写入文件的示例：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
// 创建文件，os.File实现了io.Writer接口
file, err := os.Create("output.txt")
if err != nil {
fmt.Println("创建文件失败:", err)
return
}
defer file.Close()
// 创建缓冲写入器，默认缓冲区大小为4096字节
writer := bufio.NewWriter(file)
// 写入数据，此时数据在缓冲区中，未实际写入文件
_, err = writer.WriteString("第一行内容n")
if err != nil {
fmt.Println("写入失败:", err)
return
}
_, err = writer.WriteString("第二行内容n")
if err != nil {
fmt.Println("写入失败:", err)
return
}
// 刷新缓冲区，将数据真正写入文件
err = writer.Flush()
if err != nil {
fmt.Println("刷新缓冲区失败:", err)
return
}
fmt.Println("写入完成")
}
注意事项
使用bufio.Writer时，一定要记得调用Flush方法，否则缓冲区中的数据可能不会写入底层IO对象，导致数据丢失。如果是写入文件，也可以在程序退出前确保刷新操作执行。
性能对比测试
为了直观看到bufio的性能优势，我们可以做一个简单的对比测试，分别用直接写入和bufio写入的方式，向文件写入10万行数据，统计耗时：
package main
import (
"bufio"
"fmt"
"os"
"time"
)
func writeDirectly(filename string, lineCount int) {
file, err := os.Create(filename)
if err != nil {
fmt.Println("创建文件失败:", err)
return
}
defer file.Close()
start := time.Now()
for i := 0; i < lineCount; i++ {
_, err := file.WriteString(fmt.Sprintf("这是第%d行内容n", i))
if err != nil {
fmt.Println("写入失败:", err)
return
}
}
fmt.Printf("直接写入耗时: %vn", time.Since(start))
}
func writeWithBufio(filename string, lineCount int) {
file, err := os.Create(filename)
if err != nil {
fmt.Println("创建文件失败:", err)
return
}
defer file.Close()
writer := bufio.NewWriter(file)
start := time.Now()
for i := 0; i < lineCount; i++ {
_, err := writer.WriteString(fmt.Sprintf("这是第%d行内容n", i))
if err != nil {
fmt.Println("写入失败:", err)
return
}
}
// 刷新缓冲区
writer.Flush()
fmt.Printf("bufio写入耗时: %vn", time.Since(start))
}
func main() {
lineCount := 100000
writeDirectly("direct.txt", lineCount)
writeWithBufio("bufio.txt", lineCount)
}
实际运行后可以看到，bufio的写入耗时远远低于直接写入的耗时，当写入的数据量越大，这种优势越明显。
最佳实践场景
- 读取或写入大文件时，优先使用bufio，减少系统调用次数
- 处理网络IO时，比如HTTP请求、TCP连接读写，使用bufio可以提升数据交互效率
- 需要按行或者按分隔符读取内容时，bufio提供的ReadString、ReadLine等方法比手动处理更方便
- 如果写入操作非常频繁且单次写入数据量小，一定要使用bufio.Writer并合理设置缓冲区大小
自定义缓冲区大小
默认的缓冲区大小是4096字节，如果实际场景中数据量较大或者较小，可以通过bufio.NewReaderSize和bufio.NewWriterSize来自定义缓冲区大小：
package main
import (
"bufio"
"fmt"
"io"
"strings"
)
func main() {
// 自定义读取缓冲区大小为8192字节
reader := bufio.NewReaderSize(strings.NewReader("测试内容"), 8192)
data := make([]byte, 10)
n, err := reader.Read(data)
if err != nil && err != io.EOF {
fmt.Println("读取失败:", err)
return
}
fmt.Printf("读取到%d字节: %sn", n, data[:n])
// 自定义写入缓冲区大小为16384字节
writer := bufio.NewWriterSize(nil, 16384)
// 这里仅做示例，实际使用时需要传入有效的io.Writer对象
_ = writer
}
合理调整缓冲区大小可以进一步提升性能，比如处理大文件时可以适当调大缓冲区，减少刷新次数。