cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
我的K84091 小时前
Flink整合Hive、Mysql、Hbase、Kafka
hive·mysql·flink
宝哥大数据17 小时前
Flink Job更新和恢复
大数据·flink
LiWang1123582 天前
FlinkPipelineComposer 详解
flink
Denny辉2 天前
Flink使用SQL Gateway提交SQL Job到远程集群
sql·flink·gateway
武子康2 天前
大数据-218 Prometheus 插件 exporter 与 pushgateway 配置使用 监控服务 使用场景
大数据·hive·hadoop·flink·spark·prometheus
我的K84093 天前
Flink独立集群+Flink整合yarn
大数据·flink
Tech Synapse3 天前
用Java实现samza转换成flink
java·开发语言·flink
宝哥大数据3 天前
flink+kafka 如何保证精准一次
flink·kafka
我的K84094 天前
Flink中自定义Source和Sink的使用
flink
我的K84094 天前
Flink的流、批处理
大数据·flink