在SQL多表关联分析里，JOIN之后的数据倾斜是常见性能瓶颈。某几个键值的数据量特别大，会导致对应的计算节点任务耗时远高于其他节点，整体查询被拖慢。面对这种情况，增加盐值打散热点，或者更新统计信息让优化器生成更合理的执行计划，是两类实用做法。
一、什么是JOIN后的数据倾斜
当两表按某个字段JOIN时，如果左表或右表中某些key的行数占比极高，这些key在shuffle阶段会集中到同一个处理单元。例如用户表中null用户ID有上亿行，与其他表JOIN时null分组任务极重。
- 表现：部分task运行久，其他task很快结束
- 影响：集群资源利用不均，查询长尾严重
- 常见热点：空值、固定枚举、某爆款商品ID
二、通过增加盐值解决倾斜
盐值（salting）指给原本的JOIN key拼接一个随机或分散的后缀，将热点key拆成多个子key，均匀分到不同节点，完成局部JOIN后再聚合。
1. 基础思路
对倾斜侧表增加随机盐，比如0到9；另一侧用同样范围的盐进行膨胀关联，使原本一个热点变成十个较小热点。
2. 代码示例
以下为Hive SQL风格示例，处理用户表NULL值倾斜：
-- 给倾斜表加盐，盐范围0-9
WITH left_salted AS (
SELECT
CASE WHEN user_id IS NULL THEN CONCAT('null_', CAST(FLOOR(RAND()*10) AS STRING))
ELSE user_id END AS join_key,
other_col
FROM orders
),
-- 右表按盐膨胀
right_expanded AS (
SELECT
CONCAT('null_', CAST(salt AS STRING)) AS join_key,
b.col
FROM users b
LATERAL VIEW EXPLODE(ARRAY(0,1,2,3,4,5,6,7,8,9)) t AS salt
WHERE b.user_id IS NULL
UNION ALL
SELECT user_id AS join_key, col FROM users WHERE user_id IS NOT NULL
)
SELECT l.other_col, r.col
FROM left_salted l
JOIN right_expanded r ON l.join_key = r.join_key;
3. 适用与限制
- 适合热点key少但单key极大的场景
- 会增加数据膨胀与计算量，需控制盐数量
- 非热点key不要加盐，避免无谓膨胀
三、通过更新统计信息缓解倾斜
很多SQL引擎依赖统计信息估算行数和数据分布，从而选择广播JOIN或排序归并JOIN。如果统计信息过期，优化器误判倾斜侧为小表而选错计划。
1. 更新统计信息操作
以PostgreSQL为例，使用ANALYZE更新表统计：
-- 更新整库统计 ANALYZE; -- 仅更新相关表 ANALYZE orders; ANALYZE users;
2. 为什么有效
新统计让优化器知道某key占比高，可能改为分桶JOIN或避免广播大表，从计划层减轻倾斜。配合SET参数调整也可生效。
| 方式 | 作用层 | 改动成本 |
|---|---|---|
| 增加盐值 | 数据层打散 | 中，需改SQL |
| 更新统计信息 | 优化器层 | 低，执行命令 |
四、实践建议
先查执行计划确认是否倾斜与计划误选。轻度问题用ANALYZE更新统计；明显热点再用盐值。生产环境盐值范围从4到10尝试，观察task耗时是否平滑。
注意：盐值法会改变原key语义，聚合时要按真实key分组，不要按带盐key直接汇总。
五、小结
JOIN后数据倾斜可通过增加盐值将热点打散，或通过更新统计信息帮助优化器选对执行路径。两者不互斥，实际中常组合使用以获得稳定查询性能。