在Python中处理文本文件时,将文本中的单词逐行写入新文件是一个常见的需求,比如做文本预处理、词频统计前的数据整理等场景都会用到这个操作。实现这个需求的核心流程分为读取原始文件、分割提取单词、写入新文件三个步骤,下面会逐步讲解每个步骤的实现方法。

实现步骤详解
1. 读取原始文本文件
首先需要打开并读取存放原始文本的源文件,这里要注意指定正确的文件编码,避免出现乱码问题。通常使用open()函数打开文件,使用read()方法读取全部内容。
2. 分割提取单词
读取到文本内容后,需要按照规则分割出单个单词。常见的分割方式是根据空格、标点符号来拆分,可以使用字符串的split()方法结合正则表达式处理,去除无用的空字符串。
3. 逐行写入新文件
提取到所有单词后,遍历单词列表,将每个单词单独写入目标文件,每个单词占一行即可。
完整代码示例
以下是一个可以直接运行的完整示例,假设源文件名为source.txt,目标文件名为target.txt,两个文件都放在代码同目录下:
import re
# 读取源文件内容
with open("source.txt", "r", encoding="utf-8") as f:
content = f.read()
# 使用正则表达式分割单词,匹配字母数字组成的连续字符,忽略标点
words = re.findall(r"w+", content)
# 将单词逐行写入新文件
with open("target.txt", "w", encoding="utf-8") as f:
for word in words:
# 每个单词写入后加换行符,实现逐行写入
f.write(word + "n")
print("单词逐行写入完成")
注意事项
- 文件编码问题:如果源文件是其他编码比如gbk,打开时需要把
encoding参数改成对应的编码,否则会报错。 - 空值处理:如果分割后出现了空字符串,可以在写入前加一个判断,跳过空值,避免写入空行。
- 大文件处理:如果源文件体积很大,不建议一次性读取全部内容,可以逐行读取源文件,处理完一行再读下一行,减少内存占用。
扩展优化
如果需要处理更复杂的单词提取规则,比如保留带连字符的单词,或者过滤掉长度小于2的短单词,可以调整正则表达式的规则,或者在遍历单词时增加过滤条件。例如只保留长度大于等于2的单词,可以修改写入部分的代码:
with open("target.txt", "w", encoding="utf-8") as f:
for word in words:
# 过滤长度小于2的单词
if len(word) >= 2:
f.write(word + "n")