【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
weixin19970108016几秒前
“迷你京东”全栈架构设计与实现
java·大数据·python·数据库架构
菜鸡儿齐4 分钟前
MapReduce-源码学习
大数据·学习·mapreduce
腾视科技TENSORTEC31 分钟前
安全驾驶 智在掌控|腾视科技ES06终端,为车辆运营赋能
大数据·人工智能·科技·安全·ai·车载系统·车载监控
Elastic 中国社区官方博客40 分钟前
测试 Elasticsearch,现在变得更简单了
大数据·运维·elasticsearch·搜索引擎·全文检索
黎阳之光41 分钟前
十五五智赋新程 黎阳之光以AI硬核技术筑造产业数智底座
大数据·人工智能·算法·安全·数字孪生
云蝠呼叫大模型联络中心1 小时前
零售行业智能客服与客户数据分析:技术架构与实战案例
大数据·人工智能·架构·数据分析·零售·#智能外呼合规·#云蝠智能
逸Y 仙X1 小时前
文章七:ElasticSearch索引字段类型
java·大数据·elasticsearch·搜索引擎·全文检索
DX_水位流量监测1 小时前
德希科技在线水质浮标站
大数据·水质监测·水质传感器·水质厂家·在线水质浮标站·水质监测系统·水文水利
D愿你归来仍是少年1 小时前
Apache Spark 第五章:Spark SQL 与 DataFrame
大数据·spark
敲上瘾1 小时前
位图与布隆过滤器:原理、实现与海量数据处理方案
大数据·数据结构·算法·位图·布隆过滤器