数据倾斜
一句话:数据没有均匀分到各个节点上,个别节点抗了大头,导致少数任务没跑完,其他都在等他。
一、怎么发现它
| 现象 | 说明 |
|---|---|
| 任务卡在 99% 很久 | 大多数任务早跑完了,就剩几个在挣扎 |
| 某个 reduce / task 特别慢 | 别人几分钟,它几小时 |
| 个别节点内存爆了(OOM) | 数据量压垮单台机器 |
| 同一份数据,换个方式就快很多 | 说明不是量的问题,是分布的问题 |
当你发现数据量不是很大但是却跑的很慢时,十有八九就是数据倾斜。
二、为什么会倾斜
1.热点key
vbnet
100 万条订单里,80 万条属于同一个大卖家
按 seller_id 分组/join → 这个 key 全压到一个节点
典型的热点 key:
| 类型 | 例子 |
|---|---|
| NULL / 空值 | 大量未填写的字段,全归到一个分区 |
| 默认值 | -1、unknown、0 这类兜底值 |
| 业务热点 | 大卖家、热门商品、头部主播、爆款 SKU |
| 测试数据 | 一堆 id 全写成 test |
2. Join 的 key 分布不均
- 大表 join 小表,若大表关联 key 分布集中,对应分区会数据爆炸
- 小表 join 大表时,若小表热点 key 集中,也会放大倾斜效应
3. 分区键 / 分片键选得不好
- 用低区分度字段做分片(如
status、gender),数据全挤到少数分片 - 用时间做分区,但某一天数据量是别的 100 倍
4. Group By 维度分布不均
erlang
按省份分组:广东 30%、其余 70 个省份分 70%
→ 广东那个 task 必然最慢
三、解决思路
所有方案归纳起来就三件事:
- 打散(加盐/加随机前缀)
- 拆分(热点单独处理)
- 广播(小表复制到每个节点)
四、实战
空值/无效值单独处理
核心问题:大量的NULL全归到一个分区。
解法 1:过滤无效数据
sql
SELECT * FROM a JOIN b ON a.user_id = b.user_id
WHERE a.user_id IS NOT NULL AND a.user_id != '';
解法 2:给空值加随机后缀打散
sql
SELECT * FROM a
LEFT JOIN b
ON COALESCE(a.user_id, CONCAT('null_', CAST(RAND() * 10 AS INT))) = b.user_id;
思路:直接过滤排除印象,将他们打散到多个分区中
热点 Key 加盐打散
核心问题:大卖家id占了80%的数据
解法:先局部聚合,再全局聚合
sql
-- ① 给热点 key 加上 0~9 的随机前缀,把 1 个 key 拆成 10 个
SELECT
CONCAT(seller_id, '_', CAST(FLOOR(RAND() * 10) AS INT)) AS salted_key,
SUM(amount) AS partial_sum
FROM orders
GROUP BY CONCAT(seller_id, '_', CAST(FLOOR(RAND() * 10) AS INT));
-- ② 去掉前缀,再聚合一次
SELECT
SPLIT(salted_key, '_')[0] AS seller_id,
SUM(partial_sum) AS total
FROM (
-- 上面那段结果
) t
GROUP BY SPLIT(salted_key, '_')[0];
思路,将原来的大量数据均分给多个分区并行跑,代价是需要多跑一轮聚合。
小表广播(Map Join / Broadcast Join)
核心问题:大表join小表,小表数据量小但是key集中
解法:把小表整个复制到每个节点,在 Map 阶段就地完成 join,不产生 reduce 阶段的倾斜。
sql
-- Hive:显式提示走 map join
SELECT /*+ MAPJOIN(b) */ *
FROM big_table a JOIN small_table b ON a.id = b.id;
python
# Spark
from pyspark.sql.functions import broadcast
df = big_df.join(broadcast(small_df), "id")
提高并行度 / 拆大文件
| 手段 | 说明 |
|---|---|
| 调大 reduce | 让每个 task 处理更少数据(治标) |
| 拆大文件 | 单个文件过大导致单 task 慢,先切小文件 |
| 调小合并文件阈值 | 避免"一个分区文件巨大" |
| 开启倾斜自动处理 | Hive 的 hive.groupby.skewindata=true;Spark 的 spark.sql.adaptive.skewJoin.enabled |
这类是配置层面的缓解,真正解决还得靠打散。
分库分表 / 分片场景的倾斜
如果不是大数据计算,而是数据库分片
| 问题 | 解法 |
|---|---|
| 分片键区分度低(status/gender) | 换高区分度字段(user_id、order_no) |
| 单个热点用户数据过多 | 按 user_id % N 分片,或对热点用户再拆子表 |
| 时间分区某段暴涨 | 按天/小时细分,或对热点区间二次分片 |
| 一致性哈希不均 | 加虚拟节点,让分布更均匀 |
小结
倾斜本质:一个 key 太大 / 分布太偏,少数节点扛了大头。
三招万能:
- 打散(NULL 加后缀、热点加盐);
- 拆分(热点单独拎出来算,再合并);
- 广播(小表发到每个节点,Map 阶段就 join)。
加机器治不了倾斜,改数据分布才治得了。