cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
starzy199014 小时前
Flink高级之CEP深度剖析:Pattern API、NFA引擎与风控实战
大数据·flink
用户36105886261218 小时前
Flink高级之函数类深度剖析:生命周期、状态访问与定时器全解析
大数据·flink
starzy19901 天前
Flink TimeWindow 详解及代码实现:从三种时间语义到滚动与滑动窗口
java·服务器·flink
clz13145211 天前
风险特征平台架构设计与实现
java·flink
clz13145212 天前
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工
分布式·flink·kafka
clz13145212 天前
用 Akka Actor 模拟消费 Kafka 加工处理并发送到 Flink Out Kafka 的完整示例
flink·kafka·linq
Irene19913 天前
Flink 学习需要具备的 Java 基础知识总结
java·flink
starzy19903 天前
Flink高级之富函数类深度剖析:执行时序、状态注册与序列化陷阱
大数据·flink
starzy19904 天前
Flink基础之Transformation API详解及代码实现:从map到connect
大数据·flink
onthe_wing4 天前
flink窗口与水位线详解
大数据·flink