高并发下分组统计的常见问题
高并发场景下，业务侧可能会同时发起大量分组统计请求，比如电商平台的实时订单分组统计、社交平台的用户行为分组统计等。此时如果SQL语句没有经过优化，很容易出现查询耗时过长、数据库CPU占用过高、甚至锁等待导致服务不可用的问题。常见的性能瓶颈主要集中在三个方面：一是分组字段没有合适的索引，导致全表扫描；二是统计逻辑中包含大量不必要的关联查询，增加查询复杂度；三是高并发下频繁创建临时表导致磁盘IO压力激增。
分组统计的查询优化技巧
1. 合理创建索引
分组统计的性能核心在于减少扫描的数据量，首先要为分组字段和过滤条件字段创建组合索引。比如需要统计不同地区的订单总金额，分组字段是region_id，过滤条件是create_time在某个区间内，那么可以创建(create_time, region_id)的组合索引，让查询先通过时间过滤缩小数据范围，再进行分组操作，避免全表扫描。
下面是创建组合索引的SQL示例：
-- 为订单表创建组合索引，优化按时间过滤后的地区分组统计 CREATE INDEX idx_order_create_time_region ON order_table (create_time, region_id);
2. 简化统计逻辑
尽量避免在分组统计中使用子查询、多表关联等复杂逻辑，优先将统计逻辑拆解为单表操作。如果必须关联，要确保关联字段也有对应的索引。另外，不要在SELECT子句中返回不需要的字段，只保留分组字段和统计结果字段，减少数据传输和处理的开销。
优化前后的查询对比如下：
-- 优化前：包含不必要的关联和字段 SELECT u.user_name, o.region_id, SUM(o.amount) total_amount FROM order_table o LEFT JOIN user_table u ON o.user_id = u.id WHERE o.create_time >= '2024-01-01' AND o.create_time < '2024-02-01' GROUP BY o.region_id, u.user_name; -- 优化后：去掉不必要的关联，只保留需要的字段 SELECT region_id, SUM(amount) total_amount FROM order_table WHERE create_time >= '2024-01-01' AND create_time < '2024-02-01' GROUP BY region_id;
3. 使用覆盖索引
如果分组统计的所有字段都包含在索引中，数据库可以直接从索引中获取数据，不需要回表查询，能大幅提升性能。比如上面的优化后查询，如果amount字段也加入索引，就可以形成覆盖索引：
-- 创建包含统计字段的覆盖索引 CREATE INDEX idx_order_cover ON order_table (create_time, region_id, amount);
临时表在高并发分组统计中的使用
1. 临时表的适用场景
当分组统计的逻辑非常复杂，或者需要多次复用中间统计结果时，可以使用临时表来存储中间数据。临时表分为内存临时表和磁盘临时表，高并发场景下优先使用内存临时表，减少磁盘IO。需要注意的是，MySQL中内存临时表的大小受tmp_table_size参数限制，超过阈值会自动转为磁盘临时表，需要根据业务场景调整该参数。
2. 临时表的使用示例
比如需要统计每个用户近7天的订单总金额，同时还需要统计每个用户的历史总订单金额，就可以先通过临时表存储近7天的订单分组结果，再和历史数据关联统计：
-- 创建内存临时表存储近7天的订单分组结果
CREATE TEMPORARY TABLE tmp_recent_order (
user_id INT PRIMARY KEY,
recent_total DECIMAL(10,2)
) ENGINE=MEMORY;
-- 向临时表插入近7天的分组统计数据
INSERT INTO tmp_recent_order (user_id, recent_total)
SELECT user_id, SUM(amount) total
FROM order_table
WHERE create_time >= DATE_SUB(CURDATE(), INTERVAL 7 DAY)
GROUP BY user_id;
-- 关联临时表和历史统计表获取最终结果
SELECT u.user_id, t.recent_total, h.history_total
FROM tmp_recent_order t
LEFT JOIN user_history_stat h ON t.user_id = h.user_id;
3. 临时表的注意事项
- 临时表只在当前会话有效，会话结束后会自动删除，不会造成长期的数据残留，适合高并发下的短期中间数据存储。
- 高并发下不要频繁创建和删除临时表，尽量复用临时表结构，或者将临时表的创建逻辑放在事务中，减少元数据锁的竞争。
- 如果临时表的数据量较大，要及时添加索引，避免后续查询临时表时出现全表扫描。
高并发场景下的额外优化建议
除了查询和临时表的优化，还可以从业务层面降低数据库的压力。比如将实时分组统计改为准实时统计，通过定时任务每隔几分钟计算一次统计结果，存储到结果表中，业务侧直接查询结果表，避免高并发下直接对原始表进行分组统计。另外，可以使用读写分离架构，将分组统计的查询路由到只读从库，减少主库的读写竞争压力。
如果分组统计的维度比较固定，还可以提前预计算统计结果，比如按天、按小时预聚合数据，查询时直接基于预聚合的结果进行二次统计，大幅减少需要处理的数据量。