SQL大数据量聚合优化是处理海量数据场景下的核心需求，当数据量达到千万甚至亿级时，普通的聚合查询很容易出现执行超时、资源耗尽的问题，需要从多个维度针对性调整优化方案。
优化前的性能诊断
在着手优化之前，首先需要通过执行计划定位聚合查询的性能瓶颈，不同数据库查看执行计划的语法略有差异，以MySQL为例，可以在查询语句前添加EXPLAIN关键字查看执行细节。
-- MySQL查看聚合查询执行计划 EXPLAIN SELECT user_id, COUNT(*) AS order_count, SUM(order_amount) AS total_amount FROM order_table WHERE create_time >= '2024-01-01' GROUP BY user_id HAVING total_amount > 1000;
通过执行计划可以确认是否存在全表扫描、临时表使用、文件排序等耗时操作，这些是聚合查询性能差的常见原因。
索引优化技巧
合理的索引设计是提升聚合查询效率的基础，针对聚合查询的索引需要覆盖查询涉及的所有字段，避免回表操作。
覆盖索引设计
如果聚合查询的过滤条件、分组字段、聚合字段都可以被索引覆盖，数据库可以直接从索引中获取所需数据，无需访问原始数据表。以上面的订单聚合查询为例，可以创建如下复合索引：
-- 创建覆盖索引，包含过滤、分组、聚合所需的所有字段 CREATE INDEX idx_order_agg ON order_table (create_time, user_id, order_amount);
索引顺序调整
复合索引的字段顺序需要遵循最左前缀原则，过滤条件字段放在最前面，其次是分组字段，最后是聚合字段，这样才能最大程度发挥索引的作用。
查询逻辑优化
调整查询逻辑可以从根源上减少需要处理的数据量，降低聚合操作的资源消耗。
提前过滤数据
尽量在聚合操作之前通过WHERE条件过滤掉不需要的数据，避免对全表数据进行聚合后再筛选。如果过滤条件包含时间范围，优先选择有索引的时间字段作为过滤条件。
拆分复杂聚合
如果单次聚合需要处理的数据量过大，可以将查询拆分为多个小范围查询，分别聚合后再合并结果。比如按天拆分聚合需求，再汇总每天的结果：
-- 按天拆分聚合，减少单次处理数据量
SELECT user_id, SUM(day_amount) AS total_amount
FROM (
SELECT user_id, DATE(create_time) AS order_day, SUM(order_amount) AS day_amount
FROM order_table
WHERE create_time >= '2024-01-01' AND create_time < '2024-02-01'
GROUP BY user_id, DATE(create_time)
) day_agg
GROUP BY user_id;
避免不必要的HAVING筛选
HAVING子句是在聚合完成后对结果进行筛选，尽量将可以提前过滤的条件放到WHERE中，减少聚合后的数据量。
利用数据库特性优化
不同数据库提供了针对性的聚合优化特性，合理利用可以大幅提升查询效率。
物化视图
对于频繁执行的固定聚合查询，可以使用物化视图提前存储聚合结果，查询时直接读取物化视图的数据，无需实时计算。以PostgreSQL为例，创建物化视图的语法如下：
-- 创建聚合结果的物化视图 CREATE MATERIALIZED VIEW mv_user_order_agg AS SELECT user_id, COUNT(*) AS order_count, SUM(order_amount) AS total_amount FROM order_table GROUP BY user_id; -- 定期刷新物化视图 REFRESH MATERIALIZED VIEW mv_user_order_agg;
分区表
将大表按照时间、范围等维度拆分为多个分区表，聚合查询时数据库可以只扫描对应的分区，减少数据扫描量。比如按月份对订单表进行分区：
-- MySQL创建范围分区表
CREATE TABLE order_table (
id BIGINT PRIMARY KEY,
user_id BIGINT,
order_amount DECIMAL(10,2),
create_time DATETIME
)
PARTITION BY RANGE (YEAR(create_time) * 100 + MONTH(create_time)) (
PARTITION p202401 VALUES LESS THAN (202402),
PARTITION p202402 VALUES LESS THAN (202403),
PARTITION p202403 VALUES LESS THAN (202404)
);
并行聚合
部分数据库支持并行聚合功能，可以开启并行查询让多个CPU核心同时处理聚合任务，提升执行速度。MySQL 8.0及以上版本可以通过设置parallel_degree参数开启并行查询。
其他优化注意事项
- 避免在大表上使用
DISTINCT进行去重聚合，尽量使用GROUP BY替代，减少临时表的使用。 - 聚合字段尽量选择数值类型，避免使用字符串类型做分组聚合，降低比较操作的资源消耗。
- 定期清理表中的冗余数据，归档历史数据，减少单表的数据量，从数据规模层面降低聚合压力。
- 如果聚合查询的实时性要求不高，可以将结果缓存到Redis等中间件中，减少数据库的查询压力。