cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
白鲸开源1 天前
结项报告完整版:Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能
大数据·flink·开源
qqxhb2 天前
系统架构设计师备考第68天——大数据处理架构
大数据·hadoop·flink·spark·系统架构·lambda·kappa
zhangkaixuan4562 天前
Flink 写入 Paimon 流程:Checkpoint 与 Commit 深度剖析
java·开发语言·微服务·flink·paimon
一瓢一瓢的饮 alanchan2 天前
Flink原理与实战(java版)#第1章 Flink快速入门(第一节IDE词频统计)
java·大数据·flink·kafka·实时计算·离线计算·流批一体化计算
Hello.Reader2 天前
用 Table ID 驯服异构库Flink CDC 跨系统表映射的工程化实践
大数据·flink
hmb↑3 天前
Apache Flink CDC——变更数据捕获
大数据·flink·apache
PONY LEE3 天前
Flink 任务调优案例分析
大数据·flink
Hello.Reader3 天前
Flink DataStream V2 的 Watermark可编排的“流内控制事件”实战
大数据·flink
驾数者3 天前
Flink SQL核心概念解析:Table API与流表二元性
大数据·sql·flink
Hello.Reader3 天前
基于 Flink CDC 的 MySQL → Kafka Streaming ELT 实战
mysql·flink·kafka