【Flink运行时架构】作业提交流程

本文介绍在单作业模式下Flink提交作业的具体流程,如下图所示。

  1. 客户端将作业提交给YARN的RM;
  2. YARN的RM启动Flink JobManager,并将作业提交给JobMaster;
  3. JobMaster向Flink内置的RM请求slots;
  4. Flink内置的RM向YARN RM请求容器;
  5. YARN 启动带有TaskManager的容器;
  6. TaskManager启动之后,向Flink的RM注册自己的可用slots;
  7. Flink的RM通知TaskManager为作业提供slots;
  8. TaskManager连接到对应的JobMaster,并提供slots;
  9. JobMaster将需要执行的作业分发给TaskManager执行。
相关推荐
cy_cy002几秒前
创意MG动画制作,提升展厅吸引力与信息记忆度
大数据·科技·人机交互·交互·软件构建
ZKNOW甄知科技3 分钟前
燕千云AI-ITR系列:三线分层机制的标准化解决方案
大数据·运维·人工智能·低代码·自然语言处理·自动化·敏捷流程
是店小二呀8 分钟前
零门槛快速接入主流大模型:基于 AI Ping 平台一键集成 GLM-5.1 与多场景应用深度实战
大数据·数据库·人工智能
YangYang9YangYan9 分钟前
2026学习数据分析对报考大数据专业的价值
大数据·学习·数据分析
oort12316 分钟前
AI+基层治理·智慧政务解决方案——AI民意速办智能助手
大数据·人工智能·算法·政务
uyermw_41128 分钟前
PyTorch数据集与加载器全解析
flink·etcd
逐米时代31 分钟前
为什么制造型企业需要企业知识库建设?
大数据·人工智能
金融Tech趋势派34 分钟前
企业微信私域实现高效增长的3步策略:精准获客+粘性留存+高效转化
大数据·人工智能·企业微信
阿乔外贸日记42 分钟前
摩托品类进军亚美尼亚市场路径分享
大数据·人工智能·智能手机·云计算·汽车
YangYang9YangYan1 小时前
数据科学与大数据技术专业学习数据分析的价值
大数据·学习·数据分析