SQL复杂报表聚合慢的核心原因通常是查询需要扫描大量原始数据，同时完成多维度、多层级的交叉聚合计算，单次查询的计算量和IO消耗都远超普通查询。通过分层统计和预计算方案，可以将高消耗的实时聚合拆分为低消耗的预计算加轻量查询，大幅提升报表响应速度。
一、分层统计方案
分层统计的核心思路是按照统计维度从细到粗拆分计算层级，先完成低层级的小范围聚合，再基于低层级结果做高层级的汇总，避免重复扫描全量原始数据。
1.1 分层逻辑设计
以电商订单报表为例，统计维度包含日期、省份、城市、商品类目，层级可以设计为：
- 第一层：按日期、省份、城市、商品类目聚合，得到最细粒度的日维度统计结果
- 第二层：基于第一层结果，按日期、省份、商品类目聚合，得到城市维度的汇总结果
- 第三层：基于第二层结果，按日期、省份聚合，得到类目维度的汇总结果
- 第四层：基于第三层结果，按日期聚合，得到省份维度的汇总结果
1.2 实现示例
原始订单表结构如下：
-- 原始订单表
CREATE TABLE order_detail (
order_id INT,
order_date DATE,
province VARCHAR(50),
city VARCHAR(50),
category VARCHAR(50),
order_amount DECIMAL(10,2)
);
第一层细粒度聚合SQL：
-- 第一层：日-省-市-类目聚合
CREATE TABLE stat_layer1 AS
SELECT
order_date,
province,
city,
category,
COUNT(order_id) AS order_cnt,
SUM(order_amount) AS total_amount
FROM order_detail
GROUP BY order_date, province, city, category;
第二层汇总SQL：
-- 第二层：日-省-类目聚合（汇总城市维度）
CREATE TABLE stat_layer2 AS
SELECT
order_date,
province,
category,
SUM(order_cnt) AS order_cnt,
SUM(total_amount) AS total_amount
FROM stat_layer1
GROUP BY order_date, province, category;
二、预计算方案
预计算方案是将聚合结果提前计算好存储在中间表中，查询时直接读取中间表数据，完全避免实时聚合的计算开销，适合查询频率高、数据更新不频繁的报表场景。
2.1 预计算中间表设计
预计算中间表需要覆盖报表所有可能的查询维度组合，以上面的电商订单报表为例，中间表设计如下：
| 字段名 | 类型 | 说明 |
|---|---|---|
| stat_date | DATE | 统计日期 |
| province | VARCHAR(50) | 省份，全量统计时为NULL |
| city | VARCHAR(50) | 城市，非城市维度统计时为NULL |
| category | VARCHAR(50) | 商品类目，全量统计时为NULL |
| dimension_level | INT | 维度层级，1=日粒度，2=周粒度，3=月粒度 |
| order_cnt | INT | 订单数量 |
| total_amount | DECIMAL(10,2) | 订单总金额 |
2.2 预计算任务实现
可以通过定时任务（如每天凌晨）执行预计算，更新中间表数据：
-- 预计算日粒度数据
INSERT INTO order_pre_stat (stat_date, province, city, category, dimension_level, order_cnt, total_amount)
SELECT
order_date AS stat_date,
province,
city,
category,
1 AS dimension_level,
COUNT(order_id) AS order_cnt,
SUM(order_amount) AS total_amount
FROM order_detail
WHERE order_date = DATE_SUB(CURDATE(), INTERVAL 1 DAY)
GROUP BY order_date, province, city, category
ON DUPLICATE KEY UPDATE
order_cnt = VALUES(order_cnt),
total_amount = VALUES(total_amount);
查询时直接读取中间表即可，例如查询某省下所有城市的日订单量：
SELECT
city,
order_cnt,
total_amount
FROM order_pre_stat
WHERE stat_date = '2024-05-20'
AND province = '广东省'
AND city IS NOT NULL
AND category IS NULL
AND dimension_level = 1;
三、方案选型建议
- 如果报表维度灵活、查询组合多变，优先选择分层统计方案，兼顾灵活性和性能
- 如果报表查询维度固定、访问频率高，优先选择预计算方案，性能提升更明显
- 可以将两种方案结合，预计算高频查询的维度组合，分层统计覆盖低频灵活查询场景
四、注意事项
- 分层统计的中间表需要定期刷新，避免数据和原始表差异过大
- 预计算中间表需要设计合理的唯一键，避免重复计算导致数据错误
- 如果原始数据更新频繁，需要同步更新预计算中间表，保证数据一致性