在数据处理的实际工作中，我们经常会遇到需要对比两个DataFrame数据差异的场景，比如校验数据同步结果、排查数据更新异常等。核心需求是基于某个或多个键列完成行匹配后，找出指定非键列值不同的行，传统的逐行遍历方式在数据量较大时性能表现很差，使用pandas的内置方法可以大幅提升处理效率。
核心实现思路
实现该需求的核心步骤可以分为三步：首先基于键列对两个DataFrame进行合并，得到匹配后的完整行数据；然后筛选出指定需要对比的非键列；最后逐列对比两个DataFrame对应列的值，找出存在差异的行。
基础实现方案
假设我们有两个DataFrame，分别是df1和df2，键列为id，需要对比的非键列为name和score，基础实现代码如下：
import pandas as pd
# 构造示例数据
df1 = pd.DataFrame({
'id': [1, 2, 3, 4],
'name': ['张三', '李四', '王五', '赵六'],
'score': [85, 90, 78, 92]
})
df2 = pd.DataFrame({
'id': [1, 2, 3, 5],
'name': ['张三', '李思', '王五', '孙七'],
'score': [85, 88, 78, 80]
})
# 定义键列和需要对比的列
key_cols = ['id']
compare_cols = ['name', 'score']
# 基于键列合并两个DataFrame，how='inner'表示只保留两个DataFrame都存在的键行
merged_df = pd.merge(df1, df2, on=key_cols, suffixes=('_df1', '_df2'))
# 逐列对比差异，生成差异标记
diff_list = []
for col in compare_cols:
# 判断两列值是否不同，注意NaN值的处理，pandas中NaN != NaN，需要用pd.notna配合判断
diff_flag = merged_df[f'{col}_df1'].ne(merged_df[f'{col}_df2'])
# 处理NaN的情况：如果两列都是NaN，视为无差异
both_nan = merged_df[f'{col}_df1'].isna() & merged_df[f'{col}_df2'].isna()
diff_flag = diff_flag & ~both_nan
diff_list.append(diff_flag)
# 合并所有列的对比结果，只要有一列不同就标记为差异行
merged_df['has_diff'] = pd.concat(diff_list, axis=1).any(axis=1)
# 筛选出有差异的行
diff_rows = merged_df[merged_df['has_diff']]
print("匹配后存在差异的行：")
print(diff_rows)
代码逻辑说明
上述代码的核心逻辑如下：
- 使用
pd.merge基于键列合并两个DataFrame，通过suffixes参数为两个DataFrame的同名列添加后缀，避免列名冲突。 - 遍历需要对比的列，使用
ne方法逐行对比两个DataFrame对应列的值，同时处理NaN值的特殊情况，避免将两列都是NaN的情况判定为差异。 - 将所有列的对比结果合并，只要任意一列存在差异，就将该行标记为差异行，最后筛选出所有差异行输出。
多键列匹配场景
如果匹配需要基于多个键列完成，只需要调整key_cols参数即可，其他逻辑不需要修改，示例如下：
import pandas as pd
# 构造多键列示例数据
df1 = pd.DataFrame({
'class_id': [1, 1, 2, 2],
'student_id': [101, 102, 201, 202],
'score': [88, 92, 76, 85]
})
df2 = pd.DataFrame({
'class_id': [1, 1, 2, 2],
'student_id': [101, 102, 201, 203],
'score': [88, 90, 76, 89]
})
# 定义多个键列
key_cols = ['class_id', 'student_id']
compare_cols = ['score']
# 合并数据
merged_df = pd.merge(df1, df2, on=key_cols, suffixes=('_df1', '_df2'))
# 对比差异列
diff_flag = merged_df['score_df1'].ne(merged_df['score_df2'])
merged_df['has_diff'] = diff_flag
# 筛选差异行
diff_rows = merged_df[merged_df['has_diff']]
print("多键列匹配后的差异行：")
print(diff_rows)
保留未匹配行的场景
如果需要同时保留只在df1或只在df2中存在的键行，可以将合并的how参数调整为outer，之后对比时需要注意处理缺失值，示例如下：
import pandas as pd
df1 = pd.DataFrame({
'id': [1, 2, 3],
'name': ['张三', '李四', '王五']
})
df2 = pd.DataFrame({
'id': [2, 3, 4],
'name': ['李思', '王五', '赵六']
})
key_cols = ['id']
compare_cols = ['name']
# 外连接合并，保留所有键行
merged_df = pd.merge(df1, df2, on=key_cols, how='outer', suffixes=('_df1', '_df2'))
# 对比差异，缺失值视为差异
diff_flag = merged_df['name_df1'].ne(merged_df['name_df2'])
# 处理其中一个为NaN的情况，直接判定为差异
diff_flag = diff_flag | merged_df['name_df1'].isna() | merged_df['name_df2'].isna()
merged_df['has_diff'] = diff_flag
diff_rows = merged_df[merged_df['has_diff']]
print("外连接合并后的差异行（包含未匹配行）：")
print(diff_rows)
性能优化建议
当数据量较大时，可以通过以下方式进一步提升处理效率：
- 提前对键列设置索引，合并时指定
left_index和right_index参数，减少合并时的排序开销。 - 如果只需要知道是否存在差异，不需要知道具体差异列，可以在合并后直接对指定列做向量化对比，避免逐列循环。
- 对于超大数据集，可以考虑分块处理，避免一次性加载全部数据到内存。
注意：如果对比的列包含浮点型数据，由于浮点精度问题，直接对比相等可能会出错，建议先设置精度阈值，比如对比两个值的差的绝对值是否小于1e-6，再判定是否相等。