在业务系统中，经常需要导出大规模数据的分组汇总结果，比如按地区统计年度销售额、按用户分组统计月度活跃次数等。如果直接对全量数据执行分组汇总查询，当数据量达到百万甚至千万级别时，查询会非常缓慢，甚至导致数据库服务不可用。通过结合分页策略和索引优化，可以有效提升这类场景下的查询效率。
为什么大规模分组汇总查询性能差
大规模分组汇总查询性能差的核心原因主要有两点。第一是全表扫描成本高，如果没有合适的索引，数据库需要遍历整张表的所有数据才能完成分组和聚合计算。第二是单次处理数据量过大，分组汇总需要对大量数据进行排序和聚合，会占用大量内存和CPU资源，容易触发数据库的临时表落盘，进一步拖慢速度。
索引优化：提升分组汇总的基础效率
索引是优化分组汇总查询的首要手段，合理的索引可以让数据库跳过全表扫描，直接定位到需要计算的数据，大幅减少IO消耗。
索引设计原则
- 优先为分组字段和过滤字段创建联合索引，索引顺序建议是过滤字段在前，分组字段在后，聚合字段可以包含在索引中形成覆盖索引。
- 避免创建过多冗余索引，每个额外索引都会增加数据写入时的维护成本。
- 定期分析索引使用情况，删除长期未使用的无效索引。
索引优化示例
假设我们需要按region分组统计order_amount的总和，同时过滤create_time在指定时间范围内的数据，表结构如下：
-- 订单表结构
CREATE TABLE order_info (
id BIGINT PRIMARY KEY,
region VARCHAR(50),
order_amount DECIMAL(10,2),
create_time DATETIME,
INDEX idx_create_region (create_time, region, order_amount)
);
上面的联合索引idx_create_region包含了过滤字段create_time、分组字段region和聚合字段order_amount，查询时可以直接通过索引完成所有计算，不需要回表查询数据。
分页策略：拆分大规模任务
即使有了合适的索引，如果单次查询的分组结果仍然很多，还是可能出现性能问题，这时候需要引入分页逻辑，把大规模的分组汇总任务拆分成多个小任务执行。
基于分组字段的分页方式
如果分组字段的值相对离散，可以使用分组字段本身作为分页依据，通过记录上一页最后一个分组值来实现分页。这种方式不需要使用OFFSET，性能更稳定。
-- 第一页查询，按region排序，取前10个分组
SELECT
region,
SUM(order_amount) AS total_amount,
COUNT(*) AS order_count
FROM order_info
WHERE create_time >= '2024-01-01 00:00:00'
AND create_time <= '2024-12-31 23:59:59'
GROUP BY region
ORDER BY region
LIMIT 10;
-- 第二页查询，基于上一页最后一个region值查询
SELECT
region,
SUM(order_amount) AS total_amount,
COUNT(*) AS order_count
FROM order_info
WHERE create_time >= '2024-01-01 00:00:00'
AND create_time <= '2024-12-31 23:59:59'
AND region > '上一页最后一个region值'
GROUP BY region
ORDER BY region
LIMIT 10;
基于聚合结果的分页方式
如果分组字段重复值多，或者需要按聚合结果排序分页，可以使用子查询先获取分页的分组范围，再进行汇总计算，避免OFFSET带来的性能损耗。
-- 先获取第11到20个分组的region列表
SELECT region
FROM (
SELECT region
FROM order_info
WHERE create_time >= '2024-01-01 00:00:00'
AND create_time <= '2024-12-31 23:59:59'
GROUP BY region
ORDER BY SUM(order_amount) DESC
LIMIT 10 OFFSET 10
) AS tmp;
-- 再根据region列表查询完整的汇总结果
SELECT
region,
SUM(order_amount) AS total_amount,
COUNT(*) AS order_count
FROM order_info
WHERE create_time >= '2024-01-01 00:00:00'
AND create_time <= '2024-12-31 23:59:59'
AND region IN (上一查询得到的region列表)
GROUP BY region
ORDER BY total_amount DESC;
导出流程整合
将索引优化和分页策略结合，完整的导出流程可以设计为：
- 先检查目标查询是否有合适的索引，没有则先创建符合要求的索引。
- 根据分组字段特性选择合适的分页方式，拆分导出任务。
- 循环执行分页查询，每次查询完成后将结果追加写入导出文件。
- 所有分页查询完成后，关闭导出文件，完成整个导出流程。
这种方式的优势在于每次查询处理的数据量小，不会占用过多数据库资源，同时索引保证了单页查询的效率，即使数据量持续增长，也可以通过调整分页大小来适配性能要求。
注意事项
- 分页大小需要根据实际数据库性能调整，一般建议单页分组数控制在100到500之间，避免单页查询耗时过长。
- 如果导出过程中源数据可能发生变更，需要考虑加锁或者使用快照读，保证导出数据的一致性。
- 对于超大规模数据，可以结合数据库的并行查询能力，同时执行多个分页查询任务，进一步提升导出效率。