【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
Elastic 中国社区官方博客11 分钟前
Elastic 获得 AWS 教育 ISV 合作伙伴资质,进一步增强教育解决方案产品组合
大数据·人工智能·elasticsearch·搜索引擎·云计算·全文检索·aws
反向跟单策略28 分钟前
期货反向跟单运营逻辑推导思路
大数据·人工智能·数据分析·区块链
Tom Boom1 小时前
Git常用命令完全指南:从入门到精通
大数据·git·elasticsearch·docker·自动化测试框架
不吃饭的猪2 小时前
记一次spark在docker本地启动报错
大数据·docker·spark
欧亚学术3 小时前
计算机网络领域所有CCF-A/B/C类期刊汇总!
大数据·计算机网络·计算机·论文·sci·期刊·发表
江瀚视野3 小时前
虎扑正式易主,迅雷完成收购会带来什么变化?
大数据·区块链
QYR_114 小时前
宠物车载安全座椅市场报告:解读行业趋势与投资前景
大数据·人工智能
Leo.yuan4 小时前
实时数据仓库是什么?数据仓库设计怎么做?
大数据·数据库·数据仓库·数据分析·spark
@BreCaspian4 小时前
Git 推送失败解决教程——error: failed to push some refs to
大数据·git·elasticsearch
郭泽元7 小时前
递归树形菜单:优雅处理层级数据的利器
大数据