【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
caijingshiye1 分钟前
KHARPA币:结合传统与区块链技术的DeFi DAO革命
大数据·区块链
qq_54702617928 分钟前
Elasticsearch 故障转移及水平扩容
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客29 分钟前
Elasticsearch:使用稀疏向量提升相关性
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
AI服务老曹34 分钟前
通过平台大数据智能引擎及工具,构建设备管理、运行工况监测、故障诊断等应用模型的智慧快消开源了
大数据·科技·物联网·开源·云计算
GIS数据转换器39 分钟前
全域数字化:从“智慧城市”到“数字生命体”的进化之路
大数据·人工智能·安全·机器学习·计算机视觉·智慧城市
三次拒绝王俊凯44 分钟前
人工智能day03
大数据·人工智能
一條狗1 小时前
随笔 20250413 Elasticsearch 的 term 查询
大数据·elasticsearch·搜索引擎
小俱的一步步1 小时前
Elasticsearch生态
大数据·elasticsearch·搜索引擎
caihuayuan51 小时前
redis linux 安装简单教程(redis 3.0.4)
java·大数据·spring boot·后端·课程设计
lilye662 小时前
程序化广告行业(81/89):行业术语解析与日常交流词汇指南
mysql·flink·kafka