cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
不是谁只是我13 小时前
学习kafka和flink
学习·flink·kafka
Apache Flink15 小时前
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
大数据·flink
undo_try1 天前
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(1)
大数据·flink·apache
james的分享4 天前
Flink之Watermark
flink·水印·watermark
信徒_4 天前
Spark 和 Flink
大数据·flink·spark
viperrrrrrrrrr74 天前
大数据学习(46) - Flink按键分区处理函数
大数据·学习·flink
我明天再来学Web渗透6 天前
Flink怎么保证Exactly - Once 语义
大数据·开发语言·flink·开源
24k小善6 天前
flink核心特性
java·大数据·架构·flink
小的~~7 天前
Flink在指定时间窗口内统计均值,超过阈值后报警
大数据·均值算法·flink
lvqinglou7 天前
使用redis实现与flink窗口同样的消息聚合处理效果
java·redis·flink