【Flink】Flink内存管理

Flink内存整体结构图:

JobManager内存管理

  • JVM 进程总内存(Total Process Memory)
  • Flink总内存(Total Flink Memory):JVM进程总内存减去JVM Metaspace(元空间)和JVM Overhead(运行时开销)
  • 上图解释:
    • JVM进程总内存为2G;
    • JVM运行时开销(JVM Overhead) 占 进程总内存的 10% 但最多 1G(图中是205M);
    • 元空间(JVM Metaspace)占 256M;
    • 堆外内存(Off-Heap Memory) 占 128M;
    • 堆内存为(图中是1.42 GB);

TaskManager内存管理

  • JVM 进程总内存(Total Process Memory)
  • Flink总内存(Total Flink Memory):JVM进程总内存减去JVM Metaspace(元空间)和JVM Overhead(运行时开销)
  • 上图解释:
    • JVM进程总内存为3G;
    • JVM运行时开销(JVM Overhead) 占 进程总内存的 10% 但最多 1G(图中是307M);
    • 元空间(JVM Metaspace)占 256M;
    • 堆外直接(Direct)内存网络缓存占 Flink 总内存 的 10% 但最多 1G(图中是251M);
    • 框架堆和框架堆外各占 128M,堆外管控(Managed)内存占 Flink 总内存 的 40%(图中是0.98G);
    • 其他空间留给任务堆(Task Heap),即用户程序代码可以使用的内存空间(图中是998M);
相关推荐
二二孚日1 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind2 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠3 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
DeepSeek大模型官方教程4 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
大数据CLUB5 小时前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空5 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
智慧化智能化数字化方案5 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
武子康6 小时前
大数据-33 HBase 整体架构 HMaster HRegion
大数据·后端·hbase
Edingbrugh.南空8 小时前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink
诗旸的技术记录与分享20 小时前
Flink-1.19.0源码详解-番外补充3-StreamGraph图
大数据·flink