在使用pandas进行数据合并时,merge方法默认会为冲突的列名添加_x和_y后缀,这在很多业务场景下并不符合需求,我们可以通过多种方式避免这种默认行为。

方法一:合并前重命名冲突列
最直观的方式是在合并前先对两个DataFrame中冲突的列进行重命名,这样合并时就不会出现列名冲突,自然也不会添加默认后缀。
import pandas as pd
# 构造示例数据
df1 = pd.DataFrame({
'id': [1, 2, 3],
'score': [80, 90, 85]
})
df2 = pd.DataFrame({
'id': [1, 2, 4],
'score': [88, 92, 78]
})
# 合并前重命名df2的冲突列
df2_renamed = df2.rename(columns={'score': 'score_new'})
# 执行合并
result = pd.merge(df1, df2_renamed, on='id', how='left')
print(result)
方法二:使用suffixes参数自定义后缀
如果不想用默认的_x和_y,可以通过suffixes参数指定自定义的后缀,虽然还是会添加后缀,但可以根据业务需求设置为更有意义的名称,避免默认后缀的问题。
import pandas as pd
df1 = pd.DataFrame({
'id': [1, 2, 3],
'score': [80, 90, 85]
})
df2 = pd.DataFrame({
'id': [1, 2, 4],
'score': [88, 92, 78]
})
# 指定自定义后缀
result = pd.merge(df1, df2, on='id', how='left', suffixes=('_old', '_new'))
print(result)
方法三:指定合并列并筛选保留列
如果冲突列不是合并键,且只需要保留其中一个DataFrame的冲突列,可以在合并时通过参数指定需要保留的列,避免冲突列同时出现。
import pandas as pd
df1 = pd.DataFrame({
'id': [1, 2, 3],
'score': [80, 90, 85],
'name': ['a', 'b', 'c']
})
df2 = pd.DataFrame({
'id': [1, 2, 4],
'score': [88, 92, 78]
})
# 只保留df2的id列用于合并,不保留df2的score列
result = pd.merge(df1, df2[['id']], on='id', how='left')
print(result)
方法四:合并后删除多余列并重命名
如果合并后已经产生了默认后缀的列,可以在合并后删除不需要的列,再对保留的列进行重命名,达到消除默认后缀的目的。
import pandas as pd
df1 = pd.DataFrame({
'id': [1, 2, 3],
'score': [80, 90, 85]
})
df2 = pd.DataFrame({
'id': [1, 2, 4],
'score': [88, 92, 78]
})
# 先正常合并,会生成score_x和score_y
result = pd.merge(df1, df2, on='id', how='left')
# 删除不需要的列,保留score_x并重命名为score
result = result.drop(columns=['score_y']).rename(columns={'score_x': 'score'})
print(result)
不同场景的选择建议
如果是临时合并且冲突列较少,优先选择合并前重命名的方式,逻辑最清晰;如果需要区分两个DataFrame的同名列,使用suffixes自定义后缀更合适;如果只需要保留其中一个DataFrame的冲突列,指定合并列筛选的方式效率更高;如果合并已经完成,合并后处理的方式可以快速修正结果。