cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景:

Flink On Yarn任务启动

组件版本:

CDH:6.3.2

Flink:1.13.2

Hadoop:3.0.0

问题描述:

在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。

先介绍yarn的两个参数:

1、yarn.scheduler.fair.assignmultiple

2、yarn.scheduler.fair.max.assign

第一个参数代表是否在一个节点分配多个container,第二个参数代表在一个节点上一次性最多分配几个container。

CDH6.3.0中第一个参数默认为true,则意味着会在一个节点上分配多个container,则会有多个taskmanager。

第二个参数默认为-1,则意味着不限制,则会一次性分配较多container。

问题解决:

第一种:将yarn.scheduler.fair.assignmultiple改为false

第二种:yarn.scheduler.fair.assignmultiple为true,将yarn.scheduler.fair.max.assign指定较小数值

特别感谢:博文https://blog.csdn.net/csdn_chshuai/article/details/124275371

相关推荐
tcoding1 天前
《基于Apache Flink的流处理》笔记
笔记·flink·apache
linmoo19861 天前
Flink 系列之二十二 - 高级概念 - 保存点
大数据·flink·savepoint·保存点
Doker 多克2 天前
Flink CDC —部署模式
大数据·flink
酷爱码2 天前
Spring Boot 整合 Apache Flink 的详细过程
spring boot·flink·apache
问道飞鱼2 天前
Flink 高可用集群部署指南
flink·部署·批处理·流式批处理
渣渣盟3 天前
基于Scala实现Flink的三种基本时间窗口操作
开发语言·flink·scala
网安INF3 天前
CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)
java·web安全·网络安全·flink·漏洞
一叶知秋哈3 天前
Java应用Flink CDC监听MySQL数据变动内容输出到控制台
java·mysql·flink
代码匠心3 天前
从零开始学Flink:揭开实时计算的神秘面纱
java·大数据·后端·flink