在数据处理流程中，经常需要为每一行记录生成一个唯一的标识符，尤其是当原始数据没有单一主键，但多个列组合起来能够唯一确定一条记录时。比如订单表里可能只有用户ID和订单时间，而同一个用户在不同时间会下多笔订单，只有把用户ID和时间组合起来才能定位到具体订单。Pandas提供了多种实现这种复合唯一ID的方法，不同方案在内存、速度和后续操作便利性上有明显差别，下面会逐一展开说明。
一、基于元组聚合的复合ID生成
最直观的做法是把需要参与组合的多个列通过zip或者apply(tuple, axis=1)转换成一个元组列，然后利用Pandas的factorize方法把元组映射为整数编码。factorize会返回两个对象：一个是对应每个原始元组的整数标签数组，另一个是标签对应的唯一元组列表。这种方式的好处是完全不需要担心分隔符冲突，因为元组内部保留了每个字段的独立类型和边界，不会出现字符串拼接时“A-B”与“AB-”混淆的问题。
实现起来可以这样写：首先构造一个包含多列的DataFrame，然后生成元组序列，再调用factorize。下面是一个完整的示例，包括如何把编码结果回写到原表，以及如何从编码反查原始组合。注意factorize默认会跳过NaN值，如果数据里存在缺失值，需要提前用fillna填充一个占位值，否则不同行的NaN可能被当成同一类别，也可能直接被忽略导致编码错位。
import pandas as pd
import numpy as np
df = pd.DataFrame({
'user_id': ['u1', 'u2', 'u1', 'u3', 'u2'],
'order_date': ['2024-01-01', '2024-01-01', '2024-01-02', '2024-01-03', '2024-01-02'],
'channel': ['app', 'web', 'app', 'web', 'app']
})
# 处理缺失值：把NaN统一转为字符串'NA'再参与组元组
tuple_series = df[['user_id', 'order_date', 'channel']].fillna('NA').apply(tuple, axis=1)
# factorize生成整数编码
codes, uniques = pd.factorize(tuple_series)
# 将编码赋为新列
df['composite_id'] = codes
print(df)
print('唯一组合数量:', len(uniques))
print('编码对应的原始组合:')
print(uniques)
元组聚合方法的优势十分明显：编码后的整数ID紧凑且从0开始连续，非常适合作为分组键或者后续的机器学习特征。但它也有一个隐患，当数据行数非常庞大时，apply(tuple, axis=1)是逐行操作的Python循环，速度会比较慢。如果只是处理几万行数据问题不大，一旦达到百万级别，就会明显拖慢整个数据处理管道。此时可以考虑把元组操作替换为df[cols].itertuples(index=False, name=None)，它返回的是一个迭代器，配合pd.factorize能获得更好的性能，因为itertuples在内部使用了C级别的行迭代，比apply更快。
二、字符串拼接加分隔符的注意事项
另一种常见策略是把多个列转换成字符串后用分隔符连接起来，比如df['user_id'] + '|' + df['order_date'] + '|' + df['channel']。这种方法代码简单，生成的是一个可读性很强的字符串ID，方便输出到CSV或者日志中调试。但使用分隔符拼接时要格外小心，因为如果字段值本身含有分隔符，就会导致不同组合产生相同的拼接结果。举例来说，字段A为'a|b'、字段B为'c'，拼接后是'a|b|c'；而字段A为'a'、字段B为'b|c'，拼接后同样是'a|b|c'，造成冲突。
为了避免这种冲突，可以选择一个在数据中几乎不可能出现的字符作为分隔符，例如ASCII控制字符\x01或者单位分隔符\x1f。这些字符在正常业务文本里极少出现，能显著降低碰撞概率。不过更稳妥的做法是先对每个字段做长度前缀编码，比如把每个值转换成长度:值的格式再拼接，这样即使值里包含分隔符，也不会破坏边界。下面的示例演示了基于长度前缀的拼接函数，它还能正确处理数值列和字符串列混合的情况。
import pandas as pd
def encode_len_prefixed(value):
# 将值转为字符串，前面加上长度和冒号
s = str(value)
return f"{len(s)}:{s}"
def make_composite_id(row, cols):
parts = [encode_len_prefixed(row[c]) for c in cols]
return '|'.join(parts)
df = pd.DataFrame({
'A': ['x|y', 'x', 'hello'],
'B': ['z', 'y|z', 'world'],
'C': [1, 2, 3]
})
cols = ['A', 'B', 'C']
df['composite_id'] = df[cols].apply(lambda r: make_composite_id(r, cols), axis=1)
print(df[['A', 'B', 'C', 'composite_id']])
字符串拼接方案的另一个问题是内存占用。如果你把几百万行的三列拼接成一个字符串列，每个字符串都是Python对象，内存开销远大于整数编码。对于需要频繁进行分组、连接操作的大数据集，建议还是使用整数编码或者类别编码。另外，如果后续要按某一列做范围查询或者排序，拼接后的字符串ID并不方便，因为它是多个字段的混合体，排序规则会变得混乱。
三、利用Categorical编码和哈希映射优化性能
当参与组合的列数不多、且每列的唯一值数量有限时，可以把每一列转换为Pandas的Categorical类型，然后利用类别编码的组合来生成紧凑的整数复合ID。具体做法是对每个分类列调用cat.codes得到整数编码，再用数学方式合并，例如col1_code * max(col2_code+1) + col2_code。这种合并方式类似于多维数组的线性索引，前提是你需要知道每一列的最大编码值，并确保组合不会溢出整数范围。
另一种更高性能且不依赖列基数先验知识的方法是使用pd.util.hash_pandas_object对多个列一起做哈希，该函数基于MurmurHash3算法，能够对DataFrame中的任意数量列生成稳定的64位整数哈希值。哈希值的优点是速度快、内存低，而且不受数据分布影响，缺点是有极低概率发生哈希碰撞，也就是说理论上两个不同的组合可能得到同一个整数ID。在大多数数据分析场景中，64位哈希碰撞概率可以忽略不计，但在对唯一性要求极其严格的场景下，还是建议使用factorize来保证绝对无碰撞。
下面给出一个对比示例，展示使用factorize和使用哈希两种方式在相同数据上的表现。这里特意构造了10万行、三列的数据，其中一列是低基数字符串，一列是高基数字符串，一列是整数，然后分别测量生成复合ID的时间。
import pandas as pd
import numpy as np
import time
np.random.seed(42)
n = 100_000
df = pd.DataFrame({
'low_card': np.random.choice(['a', 'b', 'c'], n),
'high_card': ['id_' + str(i) for i in np.random.randint(0, n, n)],
'num': np.random.randint(0, 1000, n)
})
# 方法1：factorize元组
start = time.time()
codes, _ = pd.factorize(df[['low_card', 'high_card', 'num']].itertuples(index=False, name=None))
print('factorize耗时:', time.time() - start, '秒，唯一数:', len(set(codes)))
# 方法2：hash_pandas_object
start = time.time()
hash_ids = pd.util.hash_pandas_object(df[['low_card', 'high_card', 'num']], index=False)
print('hash耗时:', time.time() - start, '秒，唯一数:', hash_ids.nunique())
从输出可以看到，哈希方法通常比元组因子化快几倍，而且内存占用更低，因为哈希值直接存储为uint64类型，不需要保留中间元组对象。但需要注意hash_pandas_object生成的ID不是从0开始连续的整数，它是一串很大的无符号整数，如果后续需要作为神经网络嵌入层的输入索引，还需要再做一次factorize或者映射到0到N-1的范围。而factorize的结果天然就是连续整数，更适合直接当作类别索引使用。
针对超大数据的生产环境，还可以结合category类型和merge来生成映射表。思路是先对原始数据进行去重，只对去重后的唯一组合生成ID，然后再把ID合并回原始表。这样做能把factorize的计算量从O(数据行数)降低到O(唯一组合数)，在重复率较高的数据上效果显著。
总的来说，Pandas中没有一种放之四海皆准的方法来生成多列复合ID，选择哪种方案取决于你的数据规模、字段类型以及对ID可读性和连续性的要求。如果数据量不大且追求简单直观，元组聚合加factorize是最省心的；如果对性能敏感且能接受极低碰撞概率，哈希映射是高效的选择；如果需要输出可读的字符串ID，则要注意分隔符冲突并考虑长度前缀编码。理解这些策略的底层差异，能让你在数据管道设计时做出更合理的取舍。