在Pandas数据处理场景中,根据字典映射聚合DataFrame列是常用的操作,通过自定义字典可以将原始列的值映射到目标分组,再结合聚合函数完成统计计算,适配很多非标准化的分组需求。

基础字典映射聚合实现
核心思路是先通过字典将目标列的原始值映射为分组标识,再对分组后的数据进行聚合操作。首先构造示例数据:
import pandas as pd
# 构造示例DataFrame
data = {
'category': ['A', 'B', 'A', 'C', 'B', 'C', 'A'],
'value': [10, 20, 15, 30, 25, 35, 12]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
假设我们需要将category列按照自定义规则分组:A和B归为第一组,C归为第二组,对应的映射字典为map_dict = {'A': 'group1', 'B': 'group1', 'C': 'group2'}。接下来使用map方法完成映射后聚合:
# 定义映射字典
map_dict = {'A': 'group1', 'B': 'group1', 'C': 'group2'}
# 新增映射后的分组列
df['group'] = df['category'].map(map_dict)
print("新增分组列后的DataFrame:")
print(df)
# 按照分组列聚合计算value的总和
result = df.groupby('group')['value'].sum().reset_index()
print("聚合结果:")
print(result)
多列聚合与复杂映射场景
如果需要同时对多列进行聚合,或者映射规则更复杂,可以结合apply方法或者直接在groupby中处理。比如需要同时统计每个分组的value平均值和计数:
# 多聚合函数统计
multi_result = df.groupby('group')['value'].agg(['sum', 'mean', 'count']).reset_index()
print("多指标聚合结果:")
print(multi_result)
如果原始列中存在字典没有覆盖的值,map方法会返回NaN,可以在映射前先处理缺失值,或者给字典设置默认值:
# 处理映射缺失值的情况
data2 = {
'category': ['A', 'B', 'D', 'C'],
'value': [10, 20, 40, 30]
}
df2 = pd.DataFrame(data2)
# 字典没有覆盖D的情况
map_dict2 = {'A': 'group1', 'B': 'group1', 'C': 'group2'}
# 使用map后填充缺失值为其他组
df2['group'] = df2['category'].map(map_dict2).fillna('group3')
print("处理缺失映射后的DataFrame:")
print(df2)
# 聚合统计
result2 = df2.groupby('group')['value'].sum().reset_index()
print("聚合结果:")
print(result2)
直接聚合不新增列的实现方式
如果不想新增分组列,也可以直接在groupby中使用映射后的序列作为分组依据:
# 不新增列直接聚合
result3 = df.groupby(df['category'].map(map_dict))['value'].sum().reset_index()
# 重命名分组列名
result3.columns = ['group', 'value_sum']
print("直接聚合结果:")
print(result3)
注意事项
- 映射字典的键需要和DataFrame目标列的值类型完全一致,比如列值是字符串,字典键也必须是字符串,否则无法匹配。
- 如果目标列存在大量重复值,建议先对字典进行校验,避免出现不必要的缺失映射。
- 聚合后的结果如果需要和原数据合并,注意分组列的名称不要和原数据列名冲突。
通过上述方法,可以灵活适配各种自定义分组聚合的需求,比直接使用cut或者qcut等内置分组函数更适配业务自定义的映射规则。