FLINK内存管理解析,taskmanager、jobmanager

1、在 Flink 中设置内存的方法是配置以下两个选项之一:

1)Total Flink memory:taskmanager.memory.flink.size+jobmanager.memory.flink.size

2)Total process memory:taskmanager.memory.process.size+jobmanager.memory.process.size

1、flink内存包含以下部分,Total Process Memory总内存(taskmanager/jobmanager.process.size),等于Total Flink Memory内存(flink管理的内存taskmanager/jobmanager.flink.size)+jvm进程消耗内存(JVM Metaspace+JVM Overhead),即 flink 管理部分 jvm 内存,jvm自身也消耗一部分内存。

以下操作中,flink-conf.xml配置参数如下:

jobmanager.memory.heap.size: 128m

taskmanager.memory.flink.size: 1024m

taskmanager.memory.managed.fraction: 0.2

jobmanager.memory.jvm-overhead.min: 64m

taskmanager.memory.network.fraction: 0.1

2、指定 jobmanager 内存

① 当我们指定jobmanager内存:-yjm(jobmanager.process.size)=512m时,内存的分配流程如下:

JVM Heap:128M,根据配置参数(jobmanager.memory.heap.size)

JVM Metaspace默认值: 256M

Off-Heap Memory默认值:128M

JVM Overhead:0M=512M-128M-256M-128M

解释了报错:JobManager memory configuration failed: Derived JVM Overhead size (0 bytes) is not in configured JVM Overhead range [64.000mb (67108864 bytes), 1024.000mb (1073741824 bytes)]

可以看到报错中说JVM Overhead 内存为0,不在最小值最大值内,因为我们的配置中指定了jobmanager.memory.jvm-overhead.min: 64m,0<64m,肯定失败。

② 当我们指定-yjm(jobmanager.process.size)=1024m时,参考①中可以得出如下图的内存分配:

3、指定 taskmanager 内存

① 下图是指定了:-ytm(taskmanager.process.size)=2048m,taskmanager.memory.flink.size=1024m时的内存占用,即:

ytm=Total Process Memory=Total Flink Memory(taskmanager.memory.flink.size)+JVM Metaspace+JVM Overhead,我们发现这里有一个问题Total Flink Memory=1024m且JVM Metaspace+JVM Overhead=1024m,也就是我们指定taskmanager.process.size参数时,就不要指定taskmanager.memory.flink.size参数,否则会导致JVM Overhead被分配过大的内存造成浪费。

② 当我们不指定taskmanager.memory.flink.size参数时,taskmanager内存分配结果和分配方式:

JVM Metaspace(默认):256m

Jvm Overhead:2048 * 0.1(默认)=205m

Framework Heap(默认):128M

Managed Memory:(2048m-256m(JVM Meataspace)-205m(Jvm Overhead))*0.2=317m

Network:(2048m-256m(JVM Meataspace)-205m)*0.1=159m

Framework Off-Heap(默认):128m

Task Heap:2048-(其他所有:256m+205m+128m+317m+159m+128m)=855m

相关推荐
TTBIGDATA4 小时前
【Ambari开启Kerberos】KERBEROS SERVICE CHECK 报错
大数据·运维·hadoop·ambari·cdh·bigtop·ttbigdata
开利网络4 小时前
合规底线:健康产品营销的红线与避坑指南
大数据·前端·人工智能·云计算·1024程序员节
非著名架构师5 小时前
量化“天气风险”:金融与保险机构如何利用气候大数据实现精准定价与投资决策
大数据·人工智能·新能源风光提高精度·疾风气象大模型4.0
Hello.Reader5 小时前
用 CdcUp CLI 一键搭好 Flink CDC 演练环境
大数据·flink
熙梦数字化6 小时前
2025汽车零部件行业数字化转型落地方案
大数据·人工智能·汽车
Hello.Reader6 小时前
Flink CDC「Data Pipeline」定义与参数速查
大数据·flink
森语林溪8 小时前
大数据环境搭建从零开始(十四)CentOS 7 系统更新源更换详解:阿里云镜像源配置完整指南
大数据·linux·运维·阿里云·centos
杂家10 小时前
Zookeeper完全分布式部署(超详细)
大数据·分布式·zookeeper
snakecy10 小时前
树莓派学习资料共享
大数据·开发语言·学习·系统架构
悠闲蜗牛�10 小时前
技术融合新纪元:深度学习、大数据与云原生的跨界实践
大数据·深度学习·云原生