【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
程序员阿龙5 小时前
基于机器学习算法预测二手车市场数据清洗与分析平台(源码+定制+讲解) 基于Python的数据挖掘与可视化 二手车数据处理与分析系统开发 (机器学习算法预测)
大数据·python·数据挖掘·spark·机器学习模型·二手车价格预测
caihuayuan416 小时前
Linux环境部署iview-admin项目
java·大数据·sql·spring·课程设计
王哥儿聊AI18 小时前
GenCLS++:通过联合优化SFT和RL,提升生成式大模型的分类效果
大数据·人工智能·深度学习·算法·机器学习·自然语言处理
KaiwuDB18 小时前
KaiwuDB X 遨博智能 | 构建智能产线监测管理新系统
大数据·数据库·kaiwudb·分布式多模数据库
科技热点圈19 小时前
大力探索“AI·Life爱生活”项目峰会暨战略投资签约仪式成功举办
大数据·人工智能·生活
苏小夕夕19 小时前
大数据应用开发和项目实战-Seaborn
大数据·前端
AIGC方案20 小时前
基于Hive + Spark离线数仓大数据实战项目(视频+课件+代码+资料+笔记)
大数据·hive·spark
yin1381 天前
《可信数据空间 技术架构》技术文件正式发布
大数据·架构
forestsea1 天前
【Elasticsearch】实现气象数据存储与查询系统
大数据·elasticsearch·搜索引擎
山登绝顶我为峰 3(^v^)31 天前
Git 命令
大数据·git·算法·计算机