深度了解flink 运行时架构

前言

Flink 架构

Flink是目前算是实时计算的事实标准,背靠Apache活跃的社区和国内阿里技术团队的支持,社区生态十分丰富,本篇文章主要介绍flink的结构,对flink的各个组件有个更清晰的认识。

flink官网对flink的架构有很清晰的介绍,强烈推荐刚接触或者想对flink有深入了解的同学学习flink,我会在官网介绍的基础上补充自己对flink运行时架构的理解。

这张是官网的图,从这个图中呢,就很清晰的能看到Flink整体的架构划分为3个部分:

  1. Flink Program:用户代码所在的应用程序
  2. JobManager:Master角色 负责集群和作业管理
  3. TaskManager:Slave角色,负责task的执行

核心组件

JobManager

JobManager并不是指的是一个具体的组件,而是一个独立运行的进程,该进程包含3个核心的组件:

  • ResourceManager
  • Dispatcher
  • JobMaster

ResourceManager

负责管理集群的计算资源,计算资源来自于TaskManager task slots的注册,处理JobMaster的资源申请和释放。

Dispacther

负责接收客户端提交的JobGraph对象,客户端提交的任务最终都会到Dispacther这个组件,Dispacher接收到JobGraph后,会进行任务的分发,最核心的就是启动JobMaster

JobMaster

管理作业的整个生命周期。Dispacther接收到JobGraph对象后,会创建JobMaster,JobMaster会将JobGraph转换为Execution,之后JobMaster会对ExecutionGraph进行调度,最终提交到TaskManager运行Task任务。同时监控Task任务执行状态,直到整个作业执行完毕。JobMaster也是RPC服务,启动的时候会向Resource进行注册,申请资源。

TaskManager

向整个集群提供计算资源,同时管理JobMaster提交的Task任务,通过RPC服务与ResourceManager注册资源。

运行时任务提交流程

1.用户通过客户端命令启动flink任务,会触发集群所有服务的启动,

2.ClusterManager会为运行时各个组件申请运行节点以及资源(比如Yarn 的Container)

3.客户端(CliFrontend)提交应用程序代码经过本地运行生成JobGraph结构,然后通过ClusterClient提交JobGraph到集群中运行

4.集群中的Dispatcher服务接收到JobGraph对象,根据JobGraph对象启动JobMaster,每个作业都有一个单独的JobMaster作业管理器

5.JobMaster构建的时候会将JobGraph转换成ExecutionGraph对象

6.之后JobMaster向ResourceManager服务Task实例需要的slot计算资源

7.ResourceManager接收到申请后,先判断是否有足够的slot资源,如果有则直接分配给JobMaster,如果没有则向资源管理器申请(比如Yarn Contaioner)

8.申请到资源以后就会启动TaskManager,TaskManager启动后会主动向ResourceManager汇报slot信息

9.ResourceManager收到注册资源后,会立刻向TaskManager发送SlotRequest请求为任务分配资源

10.TaskManager接收到ResourceManager的资源分配请求后,会对符合条件的SlotRequest进行处理,然后向JobMaster发送申请(offerslots)提供Slot资源

11.JobMaster接收到offerslots的消息后,就会向slot所在的TaskManager申请提交Task任务。

12.TaskManager接收到JobMaster发送的启动Task任务申请后,会启动Task线程。

13.TaskManager中的Task线程周期性的向JobMaster汇报任务运行状态,直到任务结束

相关推荐
radient15 分钟前
Golang-GMP 万字洗髓经
后端·架构
Code季风16 分钟前
Gin Web 层集成 Viper 配置文件和 Zap 日志文件指南(下)
前端·微服务·架构·go·gin
鹏程十八少17 分钟前
9.Android 设计模式 模板方法 在项目中的实战
架构
武子康26 分钟前
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
大数据·后端·hbase
Edingbrugh.南空43 分钟前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
huisheng_qaq1 小时前
【ElasticSearch实用篇-01】需求分析和数据制造
大数据·elasticsearch·制造
G.E.N.2 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
勤奋的知更鸟2 小时前
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南
大数据·分布式
程序员JerrySUN3 小时前
RK3588 Android SDK 实战全解析 —— 架构、原理与开发关键点
android·架构
鸭鸭鸭进京赶烤10 小时前
大学专业科普 | 云计算、大数据
大数据·云计算