在时序数据处理中，按ID分组计算相邻记录的时间间隔是常见需求，比如分析用户两次操作的时间差、设备两次上报数据的间隔等。Polars作为基于Rust开发的高性能DataFrame库，在处理这类分组计算任务时，相比Pandas等工具拥有更快的执行速度和更低的内存占用。
核心思路梳理
要实现按ID分组的时间间隔计算，整体流程可以分为三个步骤：
- 首先将原始数据中的时间字符串解析为Polars的Datetime类型，确保时间计算的正确性
- 按照ID列进行分组，同时保证每个分组内的记录按时间升序排列，避免间隔计算顺序出错
- 对每个分组内的时间列做偏移计算，用当前行的时间减去上一行的时间，得到相邻记录的时间间隔
环境准备与数据构造
首先安装Polars库，然后构造测试用的示例数据，模拟实际业务中按ID分组的时序数据场景：
import polars as pl
# 构造测试数据，包含ID列和时间列
data = {
"user_id": ["u1", "u1", "u2", "u2", "u2", "u3"],
"action_time": [
"2024-03-01 10:00:00",
"2024-03-01 10:05:30",
"2024-03-01 09:50:00",
"2024-03-01 10:10:00",
"2024-03-01 10:12:45",
"2024-03-01 11:00:00"
]
}
df = pl.DataFrame(data)
print("原始数据：")
print(df)
时间列解析
原始数据中的时间列是字符串类型，需要先转换为Polars的Datetime类型才能进行时间运算：
# 解析时间列，指定时间格式
df = df.with_columns(
pl.col("action_time").str.strptime(pl.Datetime, "%Y-%m-%d %H:%M:%S")
)
print("解析后的数据：")
print(df)
按ID分组计算时间间隔
Polars提供了group_by方法实现分组，结合shift方法可以获取每个分组内上一行的时间值，进而计算间隔：
result_df = df.sort(["user_id", "action_time"]).group_by("user_id").agg(
# 保留原始时间列
pl.col("action_time"),
# 计算时间间隔：当前时间减去上一行时间，第一个记录的间隔为null
(pl.col("action_time") - pl.col("action_time").shift(1)).alias("time_interval")
)
print("按ID分组计算后的结果：")
print(result_df)
如果需要将间隔展开为每行一条记录的形式，可以使用explode方法：
# 展开分组结果，每行对应一条原始记录
exploded_df = result_df.explode(["action_time", "time_interval"])
print("展开后的结果：")
print(exploded_df)
间隔结果格式化
默认得到的时间间隔是Duration类型，如果需要转换为秒、分钟等具体数值，可以做进一步处理：
# 将时间间隔转换为秒数
final_df = exploded_df.with_columns(
pl.col("time_interval").dt.total_seconds().alias("interval_seconds")
)
print("转换后的最终结果：")
print(final_df)
性能对比说明
当数据量达到百万甚至千万级别时，Polars的分组计算速度会比Pandas快数倍。这是因为Polars采用列式存储和查询优化机制，同时支持多线程并行计算，在处理分组、聚合类任务时有天然的性能优势。如果业务中需要处理大规模时序分组计算，优先选择Polars可以有效降低计算耗时。