cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
翰林小院12 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
Dobby_0520 小时前
【Hadoop】Yarn:Hadoop 生态的资源操作系统
大数据·hadoop·分布式·yarn
过尽漉雪千山1 天前
Flink1.17.0集群的搭建
java·大数据·linux·flink·centos
mask哥2 天前
详解mcp以及agen架构设计与实现
java·微服务·flink·大模型·ai agent·springai·mcp
潘达斯奈基~2 天前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
jiedaodezhuti3 天前
Flink on YARN 实战问题排查指南(精华版)
大数据·flink
Hello.Reader3 天前
Apache Flink 从流处理基础到恰好一次语义
flink·apache·linq
天翼云开发者社区4 天前
Flink 与Flink可视化平台StreamPark教程(CDC功能)
大数据·flink
Apache Flink5 天前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
人工智能·flink·apache