在实际的文本数据处理场景中，我们经常会遇到两个文本文件集合，需要将同名文件的内容进行追加合并的需求，比如日志归档、数据分片合并等场景，手动操作效率极低，需要借助自动化工具实现。
核心需求拆解
基于文件名匹配的追加操作需要满足几个核心条件：首先是两个文件集合的目录结构可以不同，但文件名称（包含扩展名）需要完全一致；其次是匹配成功后，将第二个集合中的文件内容追加到第一个集合对应文件的末尾；最后需要处理无匹配文件、文件编码不一致等常见异常情况。
Python脚本实现方案
Python的os模块和shutil模块可以很方便地实现文件遍历和内容操作，适合跨平台使用，代码逻辑清晰易维护。
基础实现代码
import os
def merge_files_by_name(dir1, dir2, output_dir):
# 创建输出目录，如果不存在的话
if not os.path.exists(output_dir):
os.makedirs(output_dir)
# 获取第一个目录下的所有文件名
files_in_dir1 = {f for f in os.listdir(dir1) if os.path.isfile(os.path.join(dir1, f))}
# 获取第二个目录下的所有文件名
files_in_dir2 = {f for f in os.listdir(dir2) if os.path.isfile(os.path.join(dir2, f))}
# 找到两个目录的交集，即同名文件
matched_files = files_in_dir1 & files_in_dir2
for filename in matched_files:
# 第一个目录的文件路径
file1_path = os.path.join(dir1, filename)
# 第二个目录的文件路径
file2_path = os.path.join(dir2, filename)
# 输出文件路径
output_path = os.path.join(output_dir, filename)
try:
# 读取第一个文件内容，使用utf-8编码，忽略编码错误
with open(file1_path, 'r', encoding='utf-8', errors='ignore') as f1:
content1 = f1.read()
# 读取第二个文件内容
with open(file2_path, 'r', encoding='utf-8', errors='ignore') as f2:
content2 = f2.read()
# 追加写入到输出文件
with open(output_path, 'w', encoding='utf-8') as out_f:
out_f.write(content1)
out_f.write('n') # 追加换行分隔两个文件内容
out_f.write(content2)
print(f"成功合并文件: {filename}")
except Exception as e:
print(f"处理文件 {filename} 时出错: {str(e)}")
# 使用示例，替换为实际目录路径
if __name__ == '__main__':
dir1 = '/path/to/first/file/set'
dir2 = '/path/to/second/file/set'
output_dir = '/path/to/output/directory'
merge_files_by_name(dir1, dir2, output_dir)
代码优化点
- 如果需要保留原第一个目录的文件，不生成新输出目录，可以直接将第二个文件内容追加到第一个文件末尾，修改写入逻辑即可
- 如果文件数量非常多，可以使用生成器遍历文件，减少内存占用
- 可以添加参数支持自定义文件扩展名过滤，比如只处理.txt后缀的文件
Shell命令实现方案
如果是Linux或者macOS系统，使用Shell命令可以更快速地完成操作，适合熟悉命令行操作的用户。
基础命令实现
#!/bin/bash
# 定义两个目录路径
dir1="/path/to/first/file/set"
dir2="/path/to/second/file/set"
output_dir="/path/to/output/directory"
# 创建输出目录
mkdir -p "$output_dir"
# 遍历第一个目录下的所有文件
for file in "$dir1"/*; do
# 获取文件名
filename=$(basename "$file")
# 检查第二个目录下是否存在同名文件
if [ -f "$dir2/$filename" ]; then
# 合并两个文件内容，输出到目标目录
cat "$file" "$dir2/$filename" > "$output_dir/$filename"
echo "成功合并文件: $filename"
else
echo "第二个目录中不存在同名文件: $filename"
fi
done
常见问题处理
编码不一致问题
如果两个文本文件的编码不同，比如一个是GBK编码，一个是UTF-8编码，直接合并会出现乱码。可以在Python脚本中添加编码检测和转换逻辑，或者统一将文件转换为同一种编码后再合并。
大文件处理问题
如果处理的文本文件体积非常大，不建议一次性读取所有内容到内存，可以使用逐行读取的方式追加写入，避免内存溢出。
文件名大小写问题
部分系统文件名大小写敏感，部分不敏感，如果需要忽略大小写匹配，可以在获取文件名时统一转换为小写或者大写再进行匹配。
操作前建议先备份原始文件，避免合并过程中出现错误导致文件内容丢失。