Polars作为高性能的DataFrame处理库,在处理大规模数据时效率优势明显,很多场景下需要在聚合操作中计算众数(mode),也就是一组数据中出现频率最高的数值。不过不少开发者直接使用相关方法时,得到的结果和预期不符,需要掌握正确的实现方式。

Polars中计算众数的基础方法
Polars的Series对象自带mode方法,可以直接返回该序列中的所有众数。如果数据中存在多个出现频率相同的最高频数值,该方法会返回所有这些值组成的Series。
下面是一个基础的计算示例:
import polars as pl
# 构造测试数据
s = pl.Series("values", [1, 2, 2, 3, 3, 3, 4, 4, 4, 4])
# 计算众数
mode_result = s.mode()
print(mode_result)
# 输出 shape: (1,)
# Series: 'values' [i64]
# [
# 4
# ]
聚合操作中直接计算众数的问题
当我们需要在分组聚合场景中使用mode方法时,不能直接将其作为聚合函数传入group_by的agg方法中,否则会出现结果异常。比如下面的错误示例:
import polars as pl
# 构造带分组的测试数据
df = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B", "B"],
"value": [1, 1, 2, 3, 3, 4, 4]
})
# 错误的聚合方式
wrong_result = df.group_by("group").agg(pl.col("value").mode())
print(wrong_result)
上述代码运行后,得到的结果并不是每个分组对应的众数,这是因为mode方法返回的是Series类型,直接用于聚合时会出现类型不匹配的问题。
聚合操作中正确计算众数的实现方式
正确的做法是将mode方法的处理逻辑封装成自定义聚合函数,或者使用map_elements结合相关逻辑实现。更推荐的方式是先对每个分组的数据计算频率,再筛选出频率最高的数值。
下面是两种正确的实现方案:
方案一:使用自定义函数结合group_by的agg
import polars as pl
df = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B", "B"],
"value": [1, 1, 2, 3, 3, 4, 4]
})
def get_mode(series):
# 计算每个值的出现次数
counts = series.value_counts()
# 找到最大的出现次数
max_count = counts.get_column("count").max()
# 筛选出出现次数等于最大次数的数值
mode_values = counts.filter(pl.col("count") == max_count).get_column("value")
# 如果有多个众数,返回第一个,也可以根据需求返回列表
return mode_values[0]
result = df.group_by("group").agg(
get_mode(pl.col("value")).alias("mode_value")
)
print(result)
# 输出 shape: (2, 2)
# ┌───────┬────────────┐
# │ group ┆ mode_value │
# ╞═══════╪════════════╡
# │ A ┆ 1 │
# │ B ┆ 3 │
# └───────┴────────────┘
方案二:使用表达式链式处理
如果不想自定义函数,也可以通过Polars的表达式链式操作实现,这种方式更符合Polars的使用习惯,性能也更好:
import polars as pl
df = pl.DataFrame({
"group": ["A", "A", "A", "B", "B", "B", "B"],
"value": [1, 1, 2, 3, 3, 4, 4]
})
result = (
df.group_by(["group", "value"])
.agg(pl.count().alias("cnt"))
.group_by("group")
.agg(
pl.col("value").filter(pl.col("cnt") == pl.col("cnt").max()).first().alias("mode_value")
)
)
print(result)
# 输出结果和方案一一致
注意事项
- 如果分组中存在多个众数,上述方案默认返回第一个出现的众数,如果需要返回所有众数,可以调整返回逻辑,比如返回列表形式。
- 当分组数据量较大时,方案二的表达式链式处理性能优于自定义函数的方式,优先选择方案二。
- 如果数据中存在空值,需要先使用
drop_nulls方法处理空值,避免空值被计入众数计算。