【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
人大博士的交易之路15 小时前
今日行情明日机会——20251113
大数据·数据挖掘·数据分析·缠论·道琼斯结构·涨停板
B站计算机毕业设计之家15 小时前
基于Python+Django+双协同过滤豆瓣电影推荐系统 协同过滤推荐算法 爬虫 大数据毕业设计(源码+文档)✅
大数据·爬虫·python·机器学习·数据分析·django·推荐算法
WLJT12312312316 小时前
方寸之间藏智慧:家用电器的进化与生活革新
大数据·人工智能
陈辛chenxin16 小时前
【大数据技术04】数据可视化
大数据·python·信息可视化
wangqiaowq16 小时前
在streampark运行paimon-flink-action-1.20.0.jar
大数据·flink·jar
Hello.Reader16 小时前
用 Kafka 打通实时数据总线Flink CDC Pipeline 的 Kafka Sink 实战
flink·kafka·linq
wangqiaowq16 小时前
基于FLINK + PAIMON + StarRocks 分层构建流式湖仓
大数据
周杰伦_Jay17 小时前
【日志处理方案大比拼】 Filebeat+Kafka+Flink+Spark+ES+HDFS VS ELK/AOP/RocketMQ/大厂方案
flink·spark·kafka
Hello.Reader17 小时前
用 Doris 托底实时明细与聚合Flink CDC Pipeline 的 Doris Sink 实战
大数据·flink