Flink-运行架构

flink运行架构涉及到四大组件:
作业管理器(JobManager)

主要作用:是应用程序执行的主进程,换句话说,每一个flink进程都有一个对应的JobManager 所控制;JobManager会接收 应用程序所需要的可执行资源(作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的 JAR 包)。当接收到应用程序以及所属的资源后,会向资源管理器(ResourceManager)请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot);然后会将执行图(JobGraph被转化为可执行图)分发到真正运行它们的TaskManager 上。

其次,还涉及检查点(checkpoint)的协调。
资源管理器(ResourceManager):里面包含真正的插槽
主要作用
主要负责管理任务管理器( TaskManager )的插槽( slot ), TaskManger 插槽是 Flink 中
定义的处理资源单元。当 JobManager 申请资源的时候, ResourceManager会将有空闲插槽的 TaskManager 分配给 JobManager;资源不足还会向资源平台发起请求来满足启动taskManager;
其次,还负责终止 空闲的taskManager,释放资源。
任务管理器(TaskManager)
主要作用
Flink 中的工作进程。在实际的flink 应用程序中,会有多个taskManager,每个taskManager 会包含一个或多个 slot(插槽);插槽的数量限制了TaskManager可以执行的任务数量。一旦启动taskManager, 这些taskManager 会向 资源管理器( ResourceManager )注册插槽(slot),然后提供给 任务管理器( JobManager )调用; JobManager就可以分配插槽 执行任务。
分发器(Dispatcher
主要作用
可以跨作业运行,它为应用提交提供了 REST 接口。当一个应用被提交执行时,分发器
就会启动并将应用移交给一个 JobManager 。由于是 REST 接口,所以 Dispatcher 可以作为集
群的一个 HTTP 接入点,这样就能够不受防火墙阻挡。 Dispatcher 也会启动一个 Web UI ,用
来方便地展示和监控作业执行的信息。 Dispatcher 在架构中可能并不是必需的,这取决于应
用提交运行的方式。

相关推荐
橙子qyfftf17 小时前
深度了解flink(七) JobManager(1) 组件启动流程分析
大数据·flink
任错错21 小时前
flinksql-Queries查询相关实战
大数据·数据库·mysql·flink·flinksql
mqiqe2 天前
FLINK 合流
大数据·flink
橙子qyfftf2 天前
深度了解flink rpc机制(四) 组件启动流程源码分析
大数据·rpc·flink
橙子qyfftf2 天前
深度了解flink 运行时架构
大数据·架构·flink
hai405872 天前
Flink + Kafka 实现通用流式数据处理详解
大数据·flink·kafka
橙子qyfftf2 天前
深度了解flink Flink 本地运行Standalone模式
大数据·flink
程序届的悟空2 天前
【flink】之集成mybatis对mysql进行读写
大数据·flink
大数据之家2 天前
ds 启动flink 任务报错
大数据·flink
程序员爱中国2 天前
Flink(一)
大数据·flink