在Golang的实际开发中，文件写入是常见操作，但如果直接采用同步写入方式，在数据量大或者写入频率高的场景下，很容易出现阻塞，导致程序响应变慢。通过合理的并发设计和缓冲区优化，可以有效避免这类问题，提升文件写入的效率。
同步文件写入的阻塞问题
最基础的文件写入方式是调用os.OpenFile获取文件句柄后，直接调用Write方法写入数据。这种方式是同步阻塞的，只有当数据完全写入到操作系统缓冲区或者磁盘后，才会继续执行后续代码。如果写入的数据量较大，或者磁盘IO性能不足，就会阻塞当前goroutine，影响程序的整体性能。
下面是一个简单的同步写入示例：
package main
import (
"os"
)
func main() {
// 打开文件，若不存在则创建，追加写入模式
f, err := os.OpenFile("test.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
if err != nil {
panic(err)
}
defer f.Close()
// 同步写入数据，会阻塞直到写入完成
data := []byte("这是一段测试写入的数据n")
_, err = f.Write(data)
if err != nil {
panic(err)
}
}
并发写入实现防止阻塞
要避免写入阻塞，可以利用Golang的goroutine特性，将写入操作放到单独的goroutine中执行，主流程不需要等待写入完成就可以继续处理其他任务。同时可以配合channel来传递待写入的数据，实现生产者和消费者的解耦。
基础并发写入实现
我们可以创建一个写入协程，通过一个带缓冲的channel接收待写入的数据，协程内部循环从channel读取数据并写入文件，这样既不会阻塞主流程，也能保证写入操作的顺序性。
package main
import (
"os"
"time"
)
// 写入协程，从channel读取数据写入文件
func writeWorker(filename string, dataChan <-chan []byte) {
f, err := os.OpenFile(filename, os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
if err != nil {
panic(err)
}
defer f.Close()
for data := range dataChan {
// 写入数据，错误简单处理
_, err := f.Write(data)
if err != nil {
panic(err)
}
}
}
func main() {
dataChan := make(chan []byte, 100) // 带缓冲的channel，避免发送端阻塞
go writeWorker("test_concurrent.txt", dataChan)
// 模拟主流程产生写入数据，不需要等待写入完成
for i := 0; i < 10; i++ {
data := []byte("并发写入的第" + string(rune('0'+i)) + "条数据n")
dataChan <- data
// 主流程可以继续处理其他任务，不会被写入阻塞
time.Sleep(10 * time.Millisecond)
}
close(dataChan)
// 等待写入协程完成（实际场景可以加等待组）
time.Sleep(100 * time.Millisecond)
}
多文件并发写入
如果是需要写入多个不同的文件，可以为每个文件启动一个写入协程，或者复用写入协程，在传递的数据中携带文件名信息，实现更灵活的并发写入逻辑。
缓冲区优化提升写入效率
除了并发写入，合理使用缓冲区也能大幅提升写入效率，减少系统调用次数。Golang的bufio包提供了带缓冲的写入器，默认缓冲区大小是4096字节，我们可以根据实际场景调整缓冲区大小。
使用bufio优化写入
bufio.NewWriterSize可以创建指定缓冲区大小的写入器，当缓冲区满或者手动调用Flush方法时，才会将数据真正写入文件，减少IO次数。
package main
import (
"bufio"
"os"
)
func main() {
f, err := os.OpenFile("test_buffer.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
if err != nil {
panic(err)
}
defer f.Close()
// 创建缓冲区大小为8192字节的写入器
writer := bufio.NewWriterSize(f, 8192)
defer writer.Flush() // 程序结束前刷新缓冲区剩余数据
// 写入数据，先写入缓冲区，缓冲区满才会触发实际写入
for i := 0; i < 100; i++ {
data := []byte("缓冲区优化的第" + string(rune('0'+i%10)) + "条数据n")
_, err := writer.Write(data)
if err != nil {
panic(err)
}
}
}
缓冲区大小的选择
缓冲区大小不是越大越好，需要根据写入数据的大小和频率来选择。如果单次写入的数据量远小于缓冲区大小，过大的缓冲区会浪费内存；如果单次写入数据量很大，适当调大缓冲区可以减少刷新次数。一般建议根据业务场景做压测，选择性能最优的缓冲区大小。
并发与缓冲区结合的最佳实践
在实际项目中，通常会将并发写入和缓冲区优化结合起来使用，既通过goroutine避免主流程阻塞，又通过缓冲区提升写入效率。下面是一个结合两者的示例：
package main
import (
"bufio"
"os"
)
// 带缓冲区的并发写入协程
func bufferedWriteWorker(filename string, dataChan <-chan []byte, bufferSize int) {
f, err := os.OpenFile(filename, os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
if err != nil {
panic(err)
}
defer f.Close()
writer := bufio.NewWriterSize(f, bufferSize)
defer writer.Flush()
for data := range dataChan {
_, err := writer.Write(data)
if err != nil {
panic(err)
}
}
}
func main() {
dataChan := make(chan []byte, 200)
// 启动带缓冲区的写入协程，缓冲区大小设为16384字节
go bufferedWriteWorker("test_combine.txt", dataChan, 16384)
// 模拟高频写入场景
for i := 0; i < 1000; i++ {
data := []byte("结合方案的第" + string(rune('0'+i%10)) + "条数据n")
dataChan <- data
}
close(dataChan)
// 实际场景可使用sync.WaitGroup等待写入完成
select {}
}
注意事项
- 并发写入同一个文件时，需要注意写入顺序问题，如果业务要求顺序写入，不要启动多个写入协程同时写同一个文件，避免数据错乱。
- 缓冲区的数据需要及时刷新，尤其是在程序异常退出时，要确保所有缓冲区数据都写入到文件中，避免数据丢失。
- 带缓冲的channel的大小需要根据实际生产数据的速度来设置，过小会导致生产端阻塞，过大则会占用过多内存。