cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
BD_Marathon1 小时前
【Flink】部署模式
java·数据库·flink
jiedaodezhuti8 小时前
Flink直接缓冲存储器异常解析与解决方案
大数据·flink
Flink_China10 小时前
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台
大数据·flink
好奇的菜鸟17 小时前
使用 Apache Flink CDC 3.0 实现 MySQL 到 Elasticsearch 的数据同步
mysql·flink·apache
ShawnLeiLei2 天前
2.3 Flink的核心概念解析
数据库·python·flink
livemetee2 天前
Flink2.0学习笔记:使用HikariCP 自定义sink实现数据库连接池化
大数据·数据库·笔记·学习·flink
程序员不迷路3 天前
Flink学习
大数据·flink
IT果果日记4 天前
flink+dolphinscheduler+dinky打造自动化数仓平台
大数据·后端·flink
君不见,青丝成雪4 天前
Flink双流join
大数据·数据仓库·flink
更深兼春远5 天前
flink+clinkhouse安装部署
大数据·clickhouse·flink