【Flink】Flink提交流程

我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件,Flink实际生产开发过程中最常见的就是提交到yarn上进行调度,模式使用的Per-Job模式,下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程,流程图如下

(1)客户端将作业提交给 YARN 的资源管理器,这一步中会同时将 Flink 的 Jar 包和配置

上传到 HDFS,以便后续启动 Flink 相关组件的容器。

(2)YARN 的资源管理器分配 Container 资源,启动 Flink JobManager,并将作业提交给

JobMaster。

(3)JobMaster 向资源管理器请求资源(slots)。

(4)资源管理器向 YARN 的资源管理器请求 container 资源。

(5)YARN 启动新的 TaskManager 容器。

(6)TaskManager 启动之后,向 Flink 的资源管理器注册自己的可用任务槽。

(7)资源管理器通知 TaskManager 为新的作业提供 slots。

(8)TaskManager 连接到对应的 JobMaster,提供 slots。

(9)JobMaster 将需要执行的任务分发给 TaskManager,执行任务。

相关推荐
心仪悦悦1 小时前
Spark缓存
大数据·缓存·spark
lix的小鱼1 小时前
安装Hadoop并运行WordCount程序
大数据·linux·hadoop
七七-d1 小时前
测试集群的功能-执行wordcount程序
大数据
INFINI Labs2 小时前
INFINI Console 纳管 Elasticsearch 9(一):指标监控、数据管理、DSL 语句执行
大数据·elasticsearch·搜索引擎·console
猪猪果泡酒3 小时前
Spark,RDD中的行动算子
大数据·分布式·spark
2401_871290584 小时前
Spark处理过程-转换算子
大数据·分布式·spark
Betty_蹄蹄boo4 小时前
运行Spark程序-在Spark-shell——RDD
大数据·分布式·spark
李恒-聆机智能专精数采4 小时前
从零开始了解数据采集(二十七)——什么IIOT平台
大数据·人工智能·云计算·制造·数据采集·数据可视化
Caron_xcb4 小时前
大数据——解决Matplotlib 字体不足问题(Linux\mac\windows)
大数据·linux·matplotlib
TracyCoder1234 小时前
ElasticSearch深入解析(十一):分页
大数据·elasticsearch·搜索引擎