在Go语言的实际开发中,处理文本文件时经常需要过滤掉包含特定子字符串的行,比如清理日志文件中的无效信息、过滤配置文件中的注释行等。实现这个功能的核心流程是读取文件内容、逐行判断、筛选有效行、写入新结果。

实现思路分析
整个功能的实现可以分为四个核心步骤:
- 读取目标文件的全部内容,按行分割成字符串切片
- 遍历每一行内容,判断当前行是否包含指定的子字符串
- 将不包含指定子字符串的行收集到新的切片中
- 将新的切片内容写入原文件或者新文件,完成删除操作
核心依赖包说明
实现这个功能主要会用到两个标准库包:
strings包:提供Contains函数,用于判断字符串是否包含指定子字符串os包:提供文件读取、写入、关闭等文件操作相关函数bufio包:用于按行读取文件内容,提升读取效率
完整实现代码示例
基础版本:删除文件中包含指定子字符串的行
下面的代码实现了读取指定文件,删除所有包含目标子字符串的行,然后将结果写回原文件的功能:
package main
import (
"bufio"
"fmt"
"os"
"strings"
)
// removeLinesWithSubstr 删除文件中包含指定子字符串的行
// filePath 是目标文件路径,subStr 是要匹配的子字符串
func removeLinesWithSubstr(filePath string, subStr string) error {
// 打开文件用于读取
file, err := os.Open(filePath)
if err != nil {
return fmt.Errorf("打开文件失败: %v", err)
}
defer file.Close()
// 按行读取文件内容
var lines []string
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 判断当前行是否包含指定子字符串,不包含则保留
if !strings.Contains(line, subStr) {
lines = append(lines, line)
}
}
// 检查扫描过程中是否有错误
if err := scanner.Err(); err != nil {
return fmt.Errorf("读取文件失败: %v", err)
}
// 重新打开文件用于写入,会清空原有内容
newFile, err := os.OpenFile(filePath, os.O_WRONLY|os.O_TRUNC, 0644)
if err != nil {
return fmt.Errorf("打开文件写入失败: %v", err)
}
defer newFile.Close()
// 将保留的行写入文件
writer := bufio.NewWriter(newFile)
for _, line := range lines {
_, err := writer.WriteString(line + "n")
if err != nil {
return fmt.Errorf("写入文件失败: %v", err)
}
}
writer.Flush()
return nil
}
func main() {
// 示例:删除test.txt中包含"error"子字符串的行
err := removeLinesWithSubstr("test.txt", "error")
if err != nil {
fmt.Println("操作失败:", err)
} else {
fmt.Println("操作成功,已删除包含指定子字符串的行")
}
}
进阶版本:支持写入新文件不覆盖原文件
如果需要保留原文件,将处理后的内容写入新文件,可以调整写入部分的逻辑:
package main
import (
"bufio"
"fmt"
"os"
"strings"
)
// removeLinesToNewFile 删除包含指定子字符串的行,结果写入新文件
// srcPath 是原文件路径,dstPath 是新文件路径,subStr 是要匹配的子字符串
func removeLinesToNewFile(srcPath string, dstPath string, subStr string) error {
// 读取原文件
srcFile, err := os.Open(srcPath)
if err != nil {
return fmt.Errorf("打开原文件失败: %v", err)
}
defer srcFile.Close()
// 按行读取并筛选
var validLines []string
scanner := bufio.NewScanner(srcFile)
for scanner.Scan() {
line := scanner.Text()
if !strings.Contains(line, subStr) {
validLines = append(validLines, line)
}
}
if err := scanner.Err(); err != nil {
return fmt.Errorf("读取原文件失败: %v", err)
}
// 创建新文件并写入结果
dstFile, err := os.Create(dstPath)
if err != nil {
return fmt.Errorf("创建新文件失败: %v", err)
}
defer dstFile.Close()
writer := bufio.NewWriter(dstFile)
for _, line := range validLines {
_, err := writer.WriteString(line + "n")
if err != nil {
return fmt.Errorf("写入新文件失败: %v", err)
}
}
writer.Flush()
return nil
}
func main() {
// 示例:将原文件test.txt中不包含"debug"的行写入new_test.txt
err := removeLinesToNewFile("test.txt", "new_test.txt", "debug")
if err != nil {
fmt.Println("操作失败:", err)
} else {
fmt.Println("操作成功,结果已写入新文件")
}
}
注意事项
- 使用
strings.Contains函数时,匹配是区分大小写的,如果需要不区分大小写,可以先将行内容和子字符串都转为小写再判断,比如使用strings.ToLower(line)和strings.ToLower(subStr) - 如果处理的文件体积非常大,一次性读取所有行可能会占用较多内存,可以考虑边读边写的方式,减少内存占用
- 操作文件时要注意权限问题,确保程序对目标文件有读取和写入权限,避免出现权限错误
- 如果原文件最后一行没有换行符,写入时可能会多添加一个换行符,需要根据实际需求调整写入逻辑
常见问题解答
如何删除包含多个指定子字符串的行?
可以修改判断逻辑,遍历多个子字符串,只要行包含其中任意一个就删除,示例代码如下:
// 判断行是否包含任意一个子字符串
func lineContainsAny(line string, subStrs []string) bool {
for _, s := range subStrs {
if strings.Contains(line, s) {
return true
}
}
return false
}
如果子字符串是正则表达式怎么办?
如果需要支持正则匹配,可以使用regexp包,通过regexp.MatchString函数判断行是否匹配正则规则,替换掉strings.Contains的判断逻辑即可。