Flink-运行架构

flink运行架构涉及到四大组件:
作业管理器(JobManager)

主要作用:是应用程序执行的主进程,换句话说,每一个flink进程都有一个对应的JobManager 所控制;JobManager会接收 应用程序所需要的可执行资源(作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的 JAR 包)。当接收到应用程序以及所属的资源后,会向资源管理器(ResourceManager)请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot);然后会将执行图(JobGraph被转化为可执行图)分发到真正运行它们的TaskManager 上。

其次,还涉及检查点(checkpoint)的协调。
资源管理器(ResourceManager):里面包含真正的插槽
主要作用
主要负责管理任务管理器( TaskManager )的插槽( slot ), TaskManger 插槽是 Flink 中
定义的处理资源单元。当 JobManager 申请资源的时候, ResourceManager会将有空闲插槽的 TaskManager 分配给 JobManager;资源不足还会向资源平台发起请求来满足启动taskManager;
其次,还负责终止 空闲的taskManager,释放资源。
任务管理器(TaskManager)
主要作用
Flink 中的工作进程。在实际的flink 应用程序中,会有多个taskManager,每个taskManager 会包含一个或多个 slot(插槽);插槽的数量限制了TaskManager可以执行的任务数量。一旦启动taskManager, 这些taskManager 会向 资源管理器( ResourceManager )注册插槽(slot),然后提供给 任务管理器( JobManager )调用; JobManager就可以分配插槽 执行任务。
分发器(Dispatcher
主要作用
可以跨作业运行,它为应用提交提供了 REST 接口。当一个应用被提交执行时,分发器
就会启动并将应用移交给一个 JobManager 。由于是 REST 接口,所以 Dispatcher 可以作为集
群的一个 HTTP 接入点,这样就能够不受防火墙阻挡。 Dispatcher 也会启动一个 Web UI ,用
来方便地展示和监控作业执行的信息。 Dispatcher 在架构中可能并不是必需的,这取决于应
用提交运行的方式。

相关推荐
梦里不知身是客1118 小时前
flink运行的一个报错
大数据·flink
路边草随风20 小时前
flink 1.18 cdc 2.4.2 读 mysql binlog 写 kafka jar版本依赖
mysql·flink·kafka
路边草随风20 小时前
java实现 flink 读 kafka 写 starrocks
java·大数据·flink·kafka
Hello.Reader21 小时前
Flink SQL 语言从 DDL 到 DML,再到关键字与数据类型
sql·flink·linq
Mxsoft61921 小时前
某次实时分析延迟高,Flink事件时间窗口对齐救场!
大数据·flink
u***28472 天前
SpringBoot集成Flink-CDC,实现对数据库数据的监听
数据库·spring boot·flink
路边草随风2 天前
flink实现写orc对数据进行分目录(分区表)写入
java·大数据·flink
渣渣盟2 天前
Flink数据流高效写入HBase实战
大数据·flink·scala·apache·hbase
路边草随风2 天前
flink实现变更算子checkpoint断点续传依然生效
大数据·人工智能·flink
渣渣盟2 天前
Flink数据流写入Elasticsearch实战
elasticsearch·flink·scala