cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
JermeryBesian2 小时前
Flink概念知识讲解之:Restart重启策略配置
java·flink·apache
司晓杰18 小时前
Flink 实时数据处理中的问题与解决方案
大数据·flink
lisacumt18 小时前
【Flink CDC】Flink CDC的Schema Evolution表结构演变的源码分析和流程图
大数据·flink·流程图
司晓杰1 天前
使用 Flink CDC 构建 Streaming ETL
大数据·数据仓库·flink·etl
申尧强1 天前
flink异步流(async stream)解析
大数据·flink
core5121 天前
flink cdc oceanbase(binlog模式)
大数据·flink·binlog·oceanbase·安装·cdc
申尧强1 天前
flink state源码解析
大数据·flink
申尧强1 天前
flink的EventTime和Watermark
大数据·flink
JermeryBesian1 天前
Flink系统知识讲解之:如何识别反压的源头
大数据·flink
undo_try1 天前
大数据组件(三)快速入门实时计算平台Dinky
大数据·flink·hbase