SQL分组统计是数据分析场景下的高频操作，哈希聚合是数据库引擎处理这类操作的核心执行策略之一，它通过哈希表结构实现分组键的快速匹配与聚合计算，相比传统的排序聚合方案在很多场景下能带来更优的执行效率。
哈希聚合的基本原理
哈希聚合的核心思路是构建一个哈希表，将分组统计的分组键作为哈希表的键，聚合计算的中间结果作为哈希表的值。执行过程中，数据库引擎会逐行扫描待处理的数据，对每一行的分组键计算哈希值，尝试在哈希表中查找对应条目：如果找到就更新聚合结果，没找到就新增条目。整个过程不需要对全量数据进行排序，因此能减少额外的排序开销。
分组统计中哈希聚合的应用示例
假设我们有一张订单表order_table，包含user_id（用户ID）、order_amount（订单金额）两个字段，现在需要统计每个用户的总订单金额，对应的SQL语句如下：
-- 统计每个用户的总订单金额 SELECT user_id, SUM(order_amount) AS total_amount FROM order_table GROUP BY user_id;
当数据库引擎选择哈希聚合执行这个查询时，流程如下：
- 初始化一个空的哈希表，哈希键为
user_id，哈希值为当前聚合的中间结果，初始为0 - 逐行扫描
order_table的每一条记录，对当前行的user_id计算哈希值 - 在哈希表中查找该
user_id对应的条目：如果存在，就把当前行的order_amount加到对应条目的聚合值上；如果不存在，就新增一个条目，键为当前user_id，初始聚合值为当前order_amount - 扫描完所有行之后，遍历哈希表的所有条目，输出每个
user_id和对应的total_amount
我们可以用简单的伪代码模拟这个执行过程：
# 模拟哈希聚合执行分组统计的伪代码
hash_table = {} # 初始化哈希表
# 逐行扫描订单表数据
for row in order_table_rows:
user_id = row["user_id"]
order_amount = row["order_amount"]
# 查找哈希表中的分组条目
if user_id in hash_table:
hash_table[user_id] += order_amount
else:
hash_table[user_id] = order_amount
# 输出最终结果
for user_id, total_amount in hash_table.items():
print(f"user_id: {user_id}, total_amount: {total_amount}")
数据库引擎中哈希聚合的执行原理
从数据库引擎的底层实现来看，哈希聚合的执行过程可以分为三个阶段：
1. 哈希表构建阶段
引擎会根据分组键的数据类型选择合适的哈希函数，计算分组键的哈希值，将哈希值映射到哈希表的对应桶中。为了避免哈希冲突带来的性能损耗，引擎通常会选择负载因子较低的哈希表结构，当哈希表容量不足时会自动触发扩容操作。
2. 聚合计算阶段
每处理一行数据，引擎都会先计算分组键的哈希值，定位到哈希表的对应桶，然后遍历桶内的条目进行键的精确匹配（因为哈希冲突可能导致不同键映射到同一个桶）。匹配成功就更新聚合值，失败就新增条目。这个阶段的性能主要取决于哈希函数的效率和哈希冲突的概率。
3. 结果输出阶段
当所有数据行都处理完成后，引擎会遍历哈希表中的所有有效条目，按照查询要求输出分组键和对应的聚合结果。如果查询中包含ORDER BY子句对分组结果排序，引擎会在输出阶段额外进行排序操作，或者选择排序聚合方案来执行查询。
哈希聚合与排序聚合的对比
数据库引擎处理分组统计时，除了哈希聚合还有排序聚合方案，两者的核心差异如下：
| 对比维度 | 哈希聚合 | 排序聚合 |
|---|---|---|
| 核心逻辑 | 基于哈希表匹配分组 | 先对全量数据按分组键排序，再相邻匹配分组 |
| 额外开销 | 哈希表内存开销，哈希计算开销 | 全量数据排序开销 |
| 适用场景 | 分组数较多，数据量较大，不需要排序结果 | 分组数较少，数据已经按分组键排序，需要排序结果 |
| 内存要求 | 需要足够内存存放哈希表，内存不足可能触发溢出到磁盘 | 排序操作可以使用外部排序，内存要求相对灵活 |
哈希聚合的适用场景与注意事项
哈希聚合适合分组键基数较大、不需要对结果排序的分组统计场景，比如统计千万级用户中每个用户的消费总额，这种场景下哈希聚合的效率远高于排序聚合。但需要注意，如果分组数过多导致哈希表超过内存限制，数据库引擎可能会将部分哈希表数据溢出到磁盘，此时性能会明显下降，这种情况下可以考虑增加内存或者优化分组键的基数。
另外，当查询中包含DISTINCT去重操作时，哈希聚合也经常被引擎用来实现去重逻辑，原理和分组统计类似，只是不需要进行聚合计算，只需要在哈希表中记录出现过的键值即可。
哈希聚合是数据库引擎优化分组统计操作的重要手段，理解它的执行原理可以帮助开发者写出更高效的SQL语句，也能更好地分析查询执行计划的性能瓶颈。