SQL分组查询是大表统计场景下的常用操作，当表数据量达到千万甚至亿级时，普通的分组查询很容易出现执行耗时超过数十秒甚至分钟级的情况，严重影响业务统计效率。优化大表分组查询性能需要从多个层面入手，针对性解决性能瓶颈。
一、合理设计索引提升分组效率
索引是优化分组查询最直接的方式，分组查询的性能很大程度上取决于是否能利用索引避免全表扫描和临时排序。设计索引时需要遵循最左前缀原则，将分组字段放在索引的前置位置。
假设我们有一个用户订单表order_info，包含字段user_id、order_status、create_time、order_amount，需要统计每个用户的订单总金额，普通查询语句如下：
-- 未优化前的分组查询 SELECT user_id, SUM(order_amount) AS total_amount FROM order_info GROUP BY user_id;
如果order_info表有千万级数据，且没有针对user_id的索引，这条查询会进行全表扫描，再对user_id进行分组排序，耗时极高。我们可以创建联合索引，将分组字段和统计字段都包含进去，避免回表操作：
-- 创建覆盖索引，包含分组字段和统计字段 CREATE INDEX idx_user_id_amount ON order_info(user_id, order_amount);
创建索引后，查询可以直接通过索引完成分组和求和操作，不需要扫描全表，性能会有数量级的提升。
二、优化查询逻辑减少不必要计算
很多分组查询的性能问题来自不必要的逻辑，比如多余的字段查询、无用的过滤条件、过度分组等，优化查询逻辑可以从源头减少数据计算量。
1. 提前过滤数据减少分组基数
如果分组统计只需要部分数据，一定要在分组前先通过WHERE条件过滤数据，减少参与分组的数据量。比如只需要统计2024年以后的订单，优化后的查询如下：
-- 先过滤再分组，减少参与分组的数据量 SELECT user_id, SUM(order_amount) AS total_amount FROM order_info WHERE create_time >= '2024-01-01 00:00:00' GROUP BY user_id;
注意WHERE条件的过滤字段如果也在索引中，可以进一步利用索引快速过滤数据，提升整体效率。
2. 避免SELECT多余字段
分组查询中只查询分组字段和需要的统计字段，不要查询无关的字段，避免数据库做额外的数据处理。比如上面的查询如果不需要其他字段，就不要添加order_status等无关字段到SELECT列表中。
三、利用执行计划分析性能瓶颈
当分组查询性能不符合预期时，可以通过EXPLAIN命令查看执行计划，定位具体的性能问题。重点关注以下几个指标：
- type：如果是
ALL说明是全表扫描，需要优化索引 - Extra：如果出现
Using temporary说明使用了临时表分组，Using filesort说明使用了文件排序，都是性能不佳的表现 - rows：预估扫描的行数，行数越多性能越差
查看上面未优化查询的执行计划：
EXPLAIN SELECT user_id, SUM(order_amount) AS total_amount FROM order_info GROUP BY user_id;
如果执行计划中出现Using temporary和Using filesort，说明当前没有合适的索引支持分组操作，需要按照前面的索引设计规则调整索引。
四、大数据量场景下的预处理方案
如果表数据量达到亿级，即使优化了索引和查询逻辑，单次分组查询的耗时仍然可能无法满足业务需求，这时候可以采用数据预处理的方案。
可以创建一张统计结果表，通过定时任务（比如每天凌晨）增量更新统计数据，业务查询直接查询统计结果表，而不是原始大表。比如创建用户订单日统计表：
-- 创建日统计表
CREATE TABLE user_order_daily_stat (
stat_date DATE,
user_id BIGINT,
total_amount DECIMAL(10,2),
order_count INT,
PRIMARY KEY (stat_date, user_id)
);
定时任务每天执行分组统计，将结果插入到统计表中：
-- 定时插入昨日统计数据
INSERT INTO user_order_daily_stat (stat_date, user_id, total_amount, order_count)
SELECT
DATE(create_time) AS stat_date,
user_id,
SUM(order_amount) AS total_amount,
COUNT(*) AS order_count
FROM order_info
WHERE create_time >= DATE_SUB(CURDATE(), INTERVAL 1 DAY)
AND create_time < CURDATE()
GROUP BY DATE(create_time), user_id
ON DUPLICATE KEY UPDATE
total_amount = VALUES(total_amount),
order_count = VALUES(order_count);
业务需要查询用户累计订单金额时，只需要统计表按user_id求和即可，查询耗时可以从秒级降到毫秒级。
五、其他优化注意事项
除了上述方案，还有一些细节可以提升分组查询性能：
- 尽量使用数值类型作为分组字段，数值类型的分组效率远高于字符串类型
- 如果分组字段值重复度很高，可以考虑对分组字段进行枚举值预处理，减少分组基数
- 合理设置数据库的参数，比如
tmp_table_size和max_heap_table_size，避免临时表频繁写入磁盘 - 对于实时性要求不高的统计场景，可以采用读写分离，将分组查询放到从库执行，避免影响主库业务
大表分组查询的性能优化没有通用的最优解，需要结合具体的业务场景、数据特征、查询频率综合选择优化方案，通过索引优化、逻辑调整、预处理等多种方式组合，才能达到理想的性能效果。