如何使用Pandas比对DataFrames的多列并查找不匹配项

在数据处理场景中，我们常常需要对比两个结构相似的DataFrames，检查多列数据是否一致，找出存在差异的不匹配项，这是数据校验、数据同步等工作的常见需求。

基础场景：基于相同索引的多列比对

如果两个DataFrames的索引完全一致，且需要比对所有列或者指定的多列，可以直接通过布尔索引筛选不匹配的行。

示例代码

import pandas as pd

# 构造测试数据
df1 = pd.DataFrame({
    'id': [1, 2, 3, 4],
    'name': ['张三', '李四', '王五', '赵六'],
    'age': [20, 25, 30, 35],
    'score': [85, 90, 88, 92]
})

df2 = pd.DataFrame({
    'id': [1, 2, 3, 4],
    'name': ['张三', '李四', '王五', '赵六'],
    'age': [20, 26, 30, 35],
    'score': [85, 90, 89, 92]
})

# 指定需要比对的多列
compare_cols = ['name', 'age', 'score']
# 逐列比对，生成每个列的匹配结果
match_results = df1[compare_cols] == df2[compare_cols]
# 筛选所有指定列都不匹配的行，any(axis=1)表示任意一列不匹配就标记为True
mismatch_rows = df1[~match_results.all(axis=1)]
print("不匹配的行：")
print(mismatch_rows)

进阶场景：指定多列作为关联键的比对

如果两个DataFrames的索引不一致，但是有相同的关联列（比如id列），可以先将两个表按照关联键合并，再比对其他列的差异。

示例代码

import pandas as pd

# 构造测试数据，索引不同
df1 = pd.DataFrame({
    'id': [1, 2, 3, 4],
    'name': ['张三', '李四', '王五', '赵六'],
    'age': [20, 25, 30, 35],
    'score': [85, 90, 88, 92]
})

df2 = pd.DataFrame({
    'id': [1, 3, 2, 5],
    'name': ['张三', '王五', '李四', '孙七'],
    'age': [20, 30, 26, 40],
    'score': [85, 88, 90, 95]
})

# 指定关联键和需要比对的列
key_cols = ['id']
compare_cols = ['name', 'age', 'score']

# 按照关联键合并两个表，how='inner'表示只保留两个表都有的关联键记录
merged_df = pd.merge(df1, df2, on=key_cols, suffixes=('_df1', '_df2'))

# 逐列比对差异
for col in compare_cols:
    merged_df[f'{col}_match'] = merged_df[f'{col}_df1'] == merged_df[f'{col}_df2']

# 筛选存在不匹配项的行
mismatch_rows = merged_df[~merged_df[[f'{col}_match' for col in compare_cols]].all(axis=1)]
print("存在不匹配项的合并记录：")
print(mismatch_rows)

逐行逐列输出具体差异

如果不仅需要找出不匹配的行，还需要知道具体哪些列存在差异，可以编写函数逐行校验并输出差异详情。

示例代码

import pandas as pd

def find_mismatch_details(df1, df2, key_cols, compare_cols):
    # 按照关联键合并
    merged_df = pd.merge(df1, df2, on=key_cols, suffixes=('_df1', '_df2'))
    mismatch_list = []
    for index, row in merged_df.iterrows():
        diff_cols = []
        for col in compare_cols:
            val1 = row[f'{col}_df1']
            val2 = row[f'{col}_df2']
            if val1 != val2:
                diff_cols.append(f'{col}: df1值为{val1}, df2值为{val2}')
        if diff_cols:
            mismatch_info = {key: row[key] for key in key_cols}
            mismatch_info['差异列'] = '; '.join(diff_cols)
            mismatch_list.append(mismatch_info)
    return pd.DataFrame(mismatch_list)

# 测试数据
df1 = pd.DataFrame({
    'id': [1, 2, 3],
    'name': ['张三', '李四', '王五'],
    'age': [20, 25, 30],
    'score': [85, 90, 88]
})

df2 = pd.DataFrame({
    'id': [1, 2, 3],
    'name': ['张三', '李四', '王五'],
    'age': [20, 26, 30],
    'score': [85, 90, 89]
})

result = find_mismatch_details(df1, df2, ['id'], ['name', 'age', 'score'])
print("不匹配项详情：")
print(result)

注意事项

• 比对前需要确认两个DataFrames中对应列的数据类型一致，比如一个列是字符串类型，另一个是数值类型，会导致比对结果不准确。
• 如果存在缺失值NaN，需要注意NaN != NaN的特性，比对前可以根据需求用fillna方法填充缺失值，或者使用equals方法处理缺失值比对。
• 关联键的选择要确保唯一性，如果关联键存在重复值，合并后会产生笛卡尔积，导致比对结果出现偏差。

PandasDataFrames多列比对不匹配项查找修改时间：2026-07-22 12:15:28