Flink内存配置和优化

在 Apache Flink 1.18 的 Standalone 集群中,内存设置是一个关键配置,它直接影响集群的性能和稳定性。

Flink 的内存配置主要包括 JobManager 和 TaskManager 的内存分配。

以下是如何在 Standalone 模式下配置内存的详细说明。

  1. JobManager 内存配置
    JobManager 是 Flink 集群的主节点,负责协调任务调度和资源管理。它的内存配置可以通过以下参数进行调整:

配置项(conf/flink-conf.yaml)

复制代码
#JobManager 的总内存大小
jobmanager.memory.process.size: 3072m

# JobManager 的 JVM 堆内存大小
jobmanager.memory.heap.size: 1536m

# JobManager 的 JVM 堆外内存大小(可选)
jobmanager.memory.off-heap.size: 256m

# JobManager 的 JVM 直接内存大小(可选)
jobmanager.memory.jvm-overhead.min: 256m
jobmanager.memory.jvm-overhead.max: 1024m

JobManager 内存说明:

jobmanager.memory.process.size:设置 JobManager 的总内存大小,包括堆内存和堆外内存。

jobmanager.memory.heap.size:设置JobManager 的 JVM 堆内存大小。

jobmanager.memory.off-heap.size:设置 JobManager 的堆外内存大小(可选)。

jobmanager.memory.jvm-overhead:设置 JVM 开销内存(用于线程栈、元数据等)。

  1. TaskManager 内存配置
    TaskManager 是 Flink 集群的工作节点,负责执行具体的任务。它的内存配置更为复杂,通常需要根据任务的需求进行调整。

配置项(conf/flink-conf.yaml)

复制代码
# TaskManager 的总内存大小
taskmanager.memory.process.size: 22528m

# TaskManager 的 JVM 堆内存大小
taskmanager.memory.task.heap.size: 15360m

# TaskManager 的堆外内存大小(用于网络缓冲、状态后端等)
taskmanager.memory.task.off-heap.size: 1024m

# TaskManager 的托管内存大小(用于 RocksDB 状态后端等)
taskmanager.memory.managed.size: 1024m

# TaskManager 的 JVM 开销内存
taskmanager.memory.jvm-overhead.min: 1024m
taskmanager.memory.jvm-overhead.max: 5120m

# TaskManager 的网络内存大小(用于网络数据传输)
taskmanager.memory.network.min: 64m
taskmanager.memory.network.max: 256m

TaskManager 内存说明:

taskmanager.memory.process.size:设置 TaskManager 的总内存大小。

taskmanager.memory.task.heap.size:设置 TaskManager 的 JVM 堆内存大小。

taskmanager.memory.task.off-heap.size:设置 TaskManager 的堆外内存大小(用于网络缓冲、状态后端等)。

taskmanager.memory.managed.size:设置托管内存大小(用于 RocksDB 状态后端等)。

taskmanager.memory.jvm-overhead:设置 JVM 开销内存(用于线程栈、元数据等)。

taskmanager.memory.network:设置网络内存大小(用于网络数据传输)。

相关推荐
树莓集团1 小时前
树莓科技(成都)集团:如何铸就第五代产业园标杆
大数据·科技·物联网·百度
小王毕业啦3 小时前
2011-2020年 全国省市县-数字普惠金融指数&数字经济指数&绿色金融指数&县域数字乡村指数
大数据·人工智能·数据挖掘·数据分析·毕业论文·数据统计·社科数据
T06205143 小时前
【工具变量】中国地级市科技金融试点政策名单数据(2000-2024年)
大数据
Python数据分析与机器学习4 小时前
《基于大数据的营养果蔬推荐系统的设计与实现》开题报告
大数据·开发语言·人工智能·深度学习·神经网络·算法·计算机视觉
S181517004865 小时前
美发行业的数字化转型:从痛点出发,探索未来新机遇
大数据·人工智能·经验分享·笔记·科技
小白学大数据6 小时前
Python爬虫:从人民网提取视频链接的完整指南
大数据·开发语言·爬虫·python·音视频
杜子腾dd7 小时前
13. Pandas :使用 to_excel 方法写入 Excel文件
大数据·python·数据挖掘·excel·numpy·pandas
GIS数据转换器9 小时前
基于AI智能算法的无人机城市综合治理
大数据·人工智能·科技·gis·无人机·智慧城市
黑客KKKing10 小时前
网络安全演练有哪些形式
大数据·网络·安全·web安全
图扑软件10 小时前
智慧城市新基建!图扑智慧路灯,点亮未来城市生活!
大数据·javascript·人工智能·智慧城市·数字孪生·可视化·智慧路灯