【Flink】Flink内存管理

Flink内存整体结构图:

JobManager内存管理

  • JVM 进程总内存(Total Process Memory)
  • Flink总内存(Total Flink Memory):JVM进程总内存减去JVM Metaspace(元空间)和JVM Overhead(运行时开销)
  • 上图解释:
    • JVM进程总内存为2G;
    • JVM运行时开销(JVM Overhead) 占 进程总内存的 10% 但最多 1G(图中是205M);
    • 元空间(JVM Metaspace)占 256M;
    • 堆外内存(Off-Heap Memory) 占 128M;
    • 堆内存为(图中是1.42 GB);

TaskManager内存管理

  • JVM 进程总内存(Total Process Memory)
  • Flink总内存(Total Flink Memory):JVM进程总内存减去JVM Metaspace(元空间)和JVM Overhead(运行时开销)
  • 上图解释:
    • JVM进程总内存为3G;
    • JVM运行时开销(JVM Overhead) 占 进程总内存的 10% 但最多 1G(图中是307M);
    • 元空间(JVM Metaspace)占 256M;
    • 堆外直接(Direct)内存网络缓存占 Flink 总内存 的 10% 但最多 1G(图中是251M);
    • 框架堆和框架堆外各占 128M,堆外管控(Managed)内存占 Flink 总内存 的 40%(图中是0.98G);
    • 其他空间留给任务堆(Task Heap),即用户程序代码可以使用的内存空间(图中是998M);
相关推荐
yuanbenshidiaos22 分钟前
【大数据】机器学习------决策树
大数据·决策树·机器学习
samLi06201 小时前
新型城镇化综合指标数据集(2016-2022年)
大数据
说私域7 小时前
社群团购项目运营策略的深度剖析:融合链动2+1模式、AI智能名片与S2B2C商城小程序的综合应用
大数据·人工智能·小程序
小白学大数据9 小时前
jsdom爬虫程序中eBay主页内容爬取的异步处理
大数据·爬虫
Q_274378510911 小时前
springboot高校电子图书馆的大数据平台规划与设计
大数据·spring boot·后端
说私域14 小时前
信息时代的消费者行为变迁与应对策略:基于链动2+1模式、AI智能名片及S2B2C商城小程序的分析
大数据·人工智能·小程序
上海研博数据14 小时前
使用Flink-JDBC将数据同步到Doris
大数据·flink
十六ᵛᵃᵉ15 小时前
day07_Spark SQL
大数据·sql·spark
W_Meng_H15 小时前
ElasticSearch-Nested 类型与 Object 类型的区别
大数据·elasticsearch·搜索引擎