在Go语言的开发中，io.Reader是一个基础且常用的接口，很多IO操作都会基于这个接口实现。当我们需要从网络连接、文件、字节缓冲区等来源读取UTF-8编码的字符串时，需要选择合适的读取方式，保证读取到的内容编码正确、完整无缺失。
基础方法：使用ioutil.ReadAll
Go标准库的io/ioutil包提供了ReadAll函数，可以直接读取io.Reader中的所有数据，返回字节切片，之后再转换为字符串即可。这种方式适合数据量不大、可以一次性读取全部内容的场景。
package main
import (
"fmt"
"io"
"io/ioutil"
"strings"
)
func readUTF8FromReader(r io.Reader) (string, error) {
// 读取所有字节
data, err := ioutil.ReadAll(r)
if err != nil {
return "", err
}
// 字节切片直接转换为字符串，Go默认字符串为UTF-8编码
return string(data), nil
}
func main() {
// 构造一个包含UTF-8字符串的Reader
testStr := "你好，Go语言读取UTF-8测试"
r := strings.NewReader(testStr)
result, err := readUTF8FromReader(r)
if err != nil {
fmt.Println("读取失败:", err)
return
}
fmt.Println("读取结果:", result)
}
缓冲读取方式：使用bufio.Reader
如果读取的数据量较大，或者需要按行、按分隔符读取，使用bufio.Reader会更合适。bufio.Reader提供了缓冲读取的能力，可以减少系统调用次数，提升读取效率。
按行读取示例
package main
import (
"bufio"
"fmt"
"io"
"strings"
)
func readLinesFromReader(r io.Reader) ([]string, error) {
var lines []string
scanner := bufio.NewScanner(r)
// 按行扫描
for scanner.Scan() {
// 每行内容直接作为UTF-8字符串处理
lines = append(lines, scanner.Text())
}
if err := scanner.Err(); err != nil {
return nil, err
}
return lines, nil
}
func main() {
testContent := "第一行内容n第二行内容n第三行UTF-8测试"
r := strings.NewReader(testContent)
lines, err := readLinesFromReader(r)
if err != nil {
fmt.Println("读取失败:", err)
return
}
for i, line := range lines {
fmt.Printf("第%d行: %sn", i+1, line)
}
}
手动读取缓冲内容
如果需要更灵活的读取控制，可以手动操作bufio.Reader的读取方法：
package main
import (
"bufio"
"fmt"
"io"
"strings"
)
func readWithBuffer(r io.Reader) (string, error) {
reader := bufio.NewReader(r)
var result strings.Builder
buf := make([]byte, 1024)
for {
n, err := reader.Read(buf)
if n > 0 {
// 将读取到的字节写入Builder，UTF-8字符会被正确拼接
result.Write(buf[:n])
}
if err != nil {
if err == io.EOF {
break
}
return "", err
}
}
return result.String(), nil
}
func main() {
testStr := "手动缓冲读取UTF-8字符串测试"
r := strings.NewReader(testStr)
res, err := readWithBuffer(r)
if err != nil {
fmt.Println("读取失败:", err)
return
}
fmt.Println("读取结果:", res)
}
注意事项
- Go语言的字符串原生支持UTF-8编码，只要io.Reader输出的字节流本身是UTF-8编码，直接转换为string即可，不需要额外做编码转换。
- 如果io.Reader的来源不是UTF-8编码，比如是GBK编码，需要先使用golang.org/x/text/encoding包做编码转换，再处理字符串。
- 读取大文件或者网络流时，不建议使用ioutil.ReadAll一次性读取全部内容，避免占用过多内存，优先选择缓冲读取方式。
- 读取过程中如果遇到io.EOF错误，说明内容已经全部读取完成，属于正常结束状态，不需要作为异常处理。
不同方法对比
| 方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| ioutil.ReadAll | 小数据量、一次性读取 | 代码简单，实现方便 | 大数据量时内存占用高 |
| bufio.Scanner | 按行、按分隔符读取 | 读取逻辑清晰，适合文本行处理 | 自定义分隔符不够灵活 |
| bufio.Reader手动读取 | 大数据量、自定义读取逻辑 | 内存可控，灵活性高 | 代码相对复杂 |