数据倾斜

数据倾斜

一句话:数据没有均匀分到各个节点上,个别节点抗了大头,导致少数任务没跑完,其他都在等他。

一、怎么发现它

现象 说明
任务卡在 99% 很久 大多数任务早跑完了,就剩几个在挣扎
某个 reduce / task 特别慢 别人几分钟,它几小时
个别节点内存爆了(OOM) 数据量压垮单台机器
同一份数据,换个方式就快很多 说明不是量的问题,是分布的问题

当你发现数据量不是很大但是却跑的很慢时,十有八九就是数据倾斜。

二、为什么会倾斜

1.热点key

vbnet 复制代码
100 万条订单里,80 万条属于同一个大卖家
按 seller_id 分组/join → 这个 key 全压到一个节点

典型的热点 key:

类型 例子
NULL / 空值 大量未填写的字段,全归到一个分区
默认值 -1、unknown、0 这类兜底值
业务热点 大卖家、热门商品、头部主播、爆款 SKU
测试数据 一堆 id 全写成 test

2. Join 的 key 分布不均

  • 大表 join 小表,若大表关联 key 分布集中,对应分区会数据爆炸
  • 小表 join 大表时,若小表热点 key 集中,也会放大倾斜效应

3. 分区键 / 分片键选得不好

  • 用低区分度字段做分片(如 status、gender),数据全挤到少数分片
  • 用时间做分区,但某一天数据量是别的 100 倍

4. Group By 维度分布不均

erlang 复制代码
按省份分组:广东 30%、其余 70 个省份分 70%
→ 广东那个 task 必然最慢

三、解决思路

所有方案归纳起来就三件事:

  1. 打散(加盐/加随机前缀)
  2. 拆分(热点单独处理)
  3. 广播(小表复制到每个节点)

四、实战

空值/无效值单独处理

核心问题:大量的NULL全归到一个分区。

解法 1:过滤无效数据

sql 复制代码
SELECT * FROM a JOIN b ON a.user_id = b.user_id
WHERE a.user_id IS NOT NULL AND a.user_id != '';

解法 2:给空值加随机后缀打散

sql 复制代码
SELECT * FROM a
LEFT JOIN b
ON COALESCE(a.user_id, CONCAT('null_', CAST(RAND() * 10 AS INT))) = b.user_id;

思路:直接过滤排除印象,将他们打散到多个分区中

热点 Key 加盐打散

核心问题:大卖家id占了80%的数据

解法:先局部聚合,再全局聚合

sql 复制代码
-- ① 给热点 key 加上 0~9 的随机前缀,把 1 个 key 拆成 10 个
SELECT
    CONCAT(seller_id, '_', CAST(FLOOR(RAND() * 10) AS INT)) AS salted_key,
    SUM(amount) AS partial_sum
FROM orders
GROUP BY CONCAT(seller_id, '_', CAST(FLOOR(RAND() * 10) AS INT));

-- ② 去掉前缀,再聚合一次
SELECT
    SPLIT(salted_key, '_')[0] AS seller_id,
    SUM(partial_sum) AS total
FROM (
    -- 上面那段结果
) t
GROUP BY SPLIT(salted_key, '_')[0];

思路,将原来的大量数据均分给多个分区并行跑,代价是需要多跑一轮聚合。

小表广播(Map Join / Broadcast Join)

核心问题:大表join小表,小表数据量小但是key集中

解法:把小表整个复制到每个节点,在 Map 阶段就地完成 join,不产生 reduce 阶段的倾斜。

sql 复制代码
-- Hive:显式提示走 map join
SELECT /*+ MAPJOIN(b) */ *
FROM big_table a JOIN small_table b ON a.id = b.id;
python 复制代码
# Spark
from pyspark.sql.functions import broadcast
df = big_df.join(broadcast(small_df), "id")

提高并行度 / 拆大文件

手段 说明
调大 reduce 让每个 task 处理更少数据(治标)
拆大文件 单个文件过大导致单 task 慢,先切小文件
调小合并文件阈值 避免"一个分区文件巨大"
开启倾斜自动处理 Hive 的 hive.groupby.skewindata=true;Spark 的 spark.sql.adaptive.skewJoin.enabled

这类是配置层面的缓解,真正解决还得靠打散。

分库分表 / 分片场景的倾斜

如果不是大数据计算,而是数据库分片

问题 解法
分片键区分度低(status/gender) 换高区分度字段(user_id、order_no)
单个热点用户数据过多 按 user_id % N 分片,或对热点用户再拆子表
时间分区某段暴涨 按天/小时细分,或对热点区间二次分片
一致性哈希不均 加虚拟节点,让分布更均匀

小结

倾斜本质:一个 key 太大 / 分布太偏,少数节点扛了大头。

三招万能:

  • 打散(NULL 加后缀、热点加盐);
  • 拆分(热点单独拎出来算,再合并);
  • 广播(小表发到每个节点,Map 阶段就 join)。

加机器治不了倾斜,改数据分布才治得了。

相关推荐
泡海椒18 分钟前
jquick-pdf 热力图实战:Object 数组三元素的数据契约与模板还原
后端
行百里er22 分钟前
【Spring Insight 技术分享】如何给 AI 接口调用做滑动窗口限流
spring boot·后端·spring cloud
贾公子27 分钟前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
im_AMBER1 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试
vlans2 小时前
Go:用装饰器给通知发送加上日志
后端·架构
王丁炜2 小时前
AI 产品死在第二十个问题上,不是死在模型上
后端
bai2732 小时前
同一条 294 字符的路径:Node 走得进去,git add 直接 exit 128
javascript·后端
一条Go2 小时前
探测规则:为什么它是告警规则的一种,而不是独立的任务体系
后端·架构·github