在处理业务报表时，我们经常会遇到这样的原始数据：同一机构（用 org_id 标识）在多条记录里重复出现，而每一行又带有不同的负责人、地区标签或备注信息。如果要把同一个 org_id 下的多个文本列压缩成一行，并且去掉重复的人名或标签，就需要用到 Pandas 的分组与聚合机制。单纯使用 sum 或 list 拼接会导致结果中出现大量冗余字符串，既占用存储空间，也让后续展示变得混乱。因此，掌握按 org_id 分组后针对多列做去重拼接的方法，是数据清洗环节里非常实用的一项技能。
基础分组与多列聚合语法
Pandas 的 groupby 方法允许我们指定一个或多个键进行拆分，随后通过 agg 对不同的列应用不同的聚合逻辑。当我们面对 org_id 这一列时，它可以作为分组的唯一依据。多列聚合的核心在于给 agg 传入一个字典，键为列名，值为函数或函数名。对于字符串去重拼接，标准的内置函数如 sum 或 first 并不能满足要求，必须借助自定义函数将列值转为集合或利用字典保留顺序后再次连接。
下面展示一个最基础的框架：先构造示例数据，再按 org_id 分组，对 name 与 tag 两列分别使用去重拼接函数。注意在自定义函数中，我们要先丢弃缺失值，再考虑是否保持原有顺序。如果业务不关心顺序，用 set 最简洁；若需要保留首次出现顺序，则可以用 dict.fromkeys 技巧。这种写法既清晰又易于扩展到更多列，不需要为每一列单独写循环。
import pandas as pd
df = pd.DataFrame({
'org_id': [1, 1, 2, 2, 2],
'name': ['张三', '张三', '李四', '王五', '李四'],
'tag': ['A', 'B', 'A', 'A', 'C']
})
def deduplicate_join(series, sep=','):
# 去除空值并保持首次出现顺序
seen = dict.fromkeys([x for x in series if pd.notna(x)])
return sep.join(seen)
result = df.groupby('org_id').agg({
'name': lambda s: deduplicate_join(s),
'tag': lambda s: deduplicate_join(s)
}).reset_index()
print(result)
上述代码运行后，org_id 为 1 的 name 列会得到“张三”，tag 列得到“A,B”；org_id 为 2 的 name 列得到“李四,王五”，tag 列得到“A,C”。可以看到重复项已经被合并，且顺序遵循原始数据从上到下的首次出现规律。这种结构在处理成百上千个机构时依然稳定，因为分组操作底层使用了哈希表，时间复杂度接近线性。
顺序保持与性能权衡
很多初学者会用 set 来去重，例如 ','.join(set(series.dropna()))，这在逻辑上没有错误，但集合是无序的，每次运行可能得到不同的拼接结果，对需要稳定输出的报表来说是个隐患。使用 dict.fromkeys 是利用字典键唯一且 Python 3.7 后保证插入顺序的特性，既去重又保序，是更严谨的写法。如果数据量极大，还可以考虑在数据库层先做 DISTINCT，再读入 Pandas 减少内存压力。
在性能方面，groupby 加 agg 中的 lambda 会比纯 Cython 实现的内置函数慢，因为 lambda 需要在 Python 层逐组调用。当列数不多、机构数在万级以内时，这种差异可以忽略。但若遇到千万行数据，建议将去重拼接逻辑改写为 groupby 配合 apply 返回 Series，或使用 transform 在原有行上标记后再做聚合，以减少函数调用次数。下面的示例展示了用 apply 一次性处理多列的方式，逻辑更集中。
def merge_cols(sub):
return pd.Series({
'name': deduplicate_join(sub['name']),
'tag': deduplicate_join(sub['tag'])
})
result2 = df.groupby('org_id').apply(merge_cols).reset_index()
print(result2)
这段代码把每个分组子框传给 merge_cols，在内部一次性算出两列结果，返回新的 Series。虽然 apply 仍有 Python 层开销，但函数只被调用机构数那么多次，而不是每列一次，在列多的时候更划算。你也可以把 deduplicate_join 换成支持分号、斜杠等其他分隔符的版本，只需修改默认参数即可，不需要动整体结构。
空值与异常数据处理
真实业务数据里，org_id 本身可能有空值，字符串列也常混有空串或空白字符。如果直接拼接，空串会留下多余的分隔符，影响阅读。因此在自定义函数开头，除了用 pd.notna 过滤，还应加上 str.strip 去除空格，并过滤掉长度为 0 的字符串。对于 org_id 的空值，可以在分组前用 fillna 赋予特定标记，或者先用 dropna(subset=['org_id']) 剔除，取决于报表是否允许“未知机构”归类。
另一个容易忽略的点是分隔符冲突：如果原始字符串里已经含有逗号，那么用逗号拼接会产生歧义。此时可改用管道符“|”或换行符，甚至将结果存为 Python 列表类型而非字符串，在导出 JSON 时更规范。下面的代码演示了带空白清洗与分隔符自定义的增强版函数，并处理了 org_id 为空的情形。
def clean_join(series, sep='|'):
items = []
for x in series:
if pd.isna(x):
continue
x = str(x).strip()
if x and x not in items:
items.append(x)
return sep.join(items)
df['org_id'] = df['org_id'].fillna('UNKNOWN')
result3 = df.groupby('org_id').agg({
'name': lambda s: clean_join(s, ','),
'tag': lambda s: clean_join(s, '|')
}).reset_index()
print(result3)
经过这样的处理，即便原始表中有“ 张三 ”、“”等脏数据，输出的聚合结果依然干净。如果后续要写回数据库，建议把去重后的列表直接以数组形式存储，避免再次解析字符串。整体来看，按 org_id 分组并聚合多列字符串去重拼接，关键就在于选对分组接口、写好保序去重函数、以及提前规整空值与分隔符，这三步做好，绝大多数报表需求都能稳妥交付。