cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
查士丁尼·绵4 小时前
hadoop集群存算分离
hive·hdfs·zookeeper·spark·hbase·yarn·galera
Hello.Reader16 小时前
Flink OpenSearch SQL Connector Append/Upsert、动态索引、Exactly-Once 与性能调参
大数据·sql·flink
Knight_AL16 小时前
Apache Flink 窗口处理函数全解析(增量 + 全量 + 混合)
大数据·flink·apache
Jackyzhe17 小时前
Flink源码阅读:Kafka Connector
大数据·flink·kafka
Knight_AL17 小时前
深入理解 Apache Flink 的时间语义、Watermark 与窗口触发机制
大数据·flink
Jackeyzhe1 天前
Flink源码阅读:Kafka Connector
flink
Hello.Reader2 天前
Flink MongoDB SQL Connector Scan/Lookup/Sink 全打通,Upsert、分片集群与缓存一篇讲透
sql·mongodb·flink
Knight_AL2 天前
Flink 核心算子详解:map / flatMap / filter / process
大数据·python·flink
重生之绝世牛码2 天前
Linux软件安装 —— Flink集群安装(集成Zookeeper、Hadoop高可用)
大数据·linux·运维·hadoop·zookeeper·flink·软件安装
Blossom.1182 天前
实时知识增强大模型:基于Flink的流式向量索引与动态RAG系统
大数据·运维·人工智能·python·flink·prompt·知识图谱