【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
萤丰信息2 分钟前
技术赋能安全:智慧工地构建城市建设新防线
java·大数据·开发语言·人工智能·智慧城市·智慧工地
Viking_bird1 小时前
Apache Spark 3.2.0 开发测试环境部署指南
大数据·分布式·ajax·spark·apache
用户199701080182 小时前
抖音商品列表API技术文档
大数据·数据挖掘·数据分析
数据皮皮侠5 小时前
最新上市公司业绩说明会文本数据(2017.02-2025.08)
大数据·数据库·人工智能·笔记·物联网·小程序·区块链
陆小叁5 小时前
基于Flink CDC实现联系人与标签数据实时同步至ES的实践
java·elasticsearch·flink
计算机毕设-小月哥7 小时前
完整源码+技术文档!基于Hadoop+Spark的鲍鱼生理特征大数据分析系统免费分享
大数据·hadoop·spark·numpy·pandas·计算机毕业设计
Jinkxs7 小时前
AI重塑金融风控:从传统规则到智能模型的信贷审批转型案例
大数据·人工智能
时序数据说14 小时前
时序数据库市场前景分析
大数据·数据库·物联网·开源·时序数据库
2501_9301040418 小时前
GitCode 疑难问题诊疗:全方位指南
大数据·elasticsearch·gitcode
健康平安的活着18 小时前
es7.17.x es服务yellow状态的排查&查看节点,分片状态数量
大数据·elasticsearch·搜索引擎