Flink-运行架构

flink运行架构涉及到四大组件:
作业管理器(JobManager)

主要作用:是应用程序执行的主进程,换句话说,每一个flink进程都有一个对应的JobManager 所控制;JobManager会接收 应用程序所需要的可执行资源(作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的 JAR 包)。当接收到应用程序以及所属的资源后,会向资源管理器(ResourceManager)请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot);然后会将执行图(JobGraph被转化为可执行图)分发到真正运行它们的TaskManager 上。

其次,还涉及检查点(checkpoint)的协调。
资源管理器(ResourceManager):里面包含真正的插槽
主要作用
主要负责管理任务管理器( TaskManager )的插槽( slot ), TaskManger 插槽是 Flink 中
定义的处理资源单元。当 JobManager 申请资源的时候, ResourceManager会将有空闲插槽的 TaskManager 分配给 JobManager;资源不足还会向资源平台发起请求来满足启动taskManager;
其次,还负责终止 空闲的taskManager,释放资源。
任务管理器(TaskManager)
主要作用
Flink 中的工作进程。在实际的flink 应用程序中,会有多个taskManager,每个taskManager 会包含一个或多个 slot(插槽);插槽的数量限制了TaskManager可以执行的任务数量。一旦启动taskManager, 这些taskManager 会向 资源管理器( ResourceManager )注册插槽(slot),然后提供给 任务管理器( JobManager )调用; JobManager就可以分配插槽 执行任务。
分发器(Dispatcher
主要作用
可以跨作业运行,它为应用提交提供了 REST 接口。当一个应用被提交执行时,分发器
就会启动并将应用移交给一个 JobManager 。由于是 REST 接口,所以 Dispatcher 可以作为集
群的一个 HTTP 接入点,这样就能够不受防火墙阻挡。 Dispatcher 也会启动一个 Web UI ,用
来方便地展示和监控作业执行的信息。 Dispatcher 在架构中可能并不是必需的,这取决于应
用提交运行的方式。

相关推荐
24k小善9 分钟前
FlinkSql入门与实践
java·大数据·flink·云计算
gegeyanxin5 小时前
Flink checkpoint问题排查指南
flink·数据倾斜·checkpoint失败
晴天彩虹雨1 天前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
24k小善1 天前
Flink TaskManager详解
java·大数据·flink·云计算
Flink_China1 天前
抖音集团电商流量实时数仓建设实践
大数据·flink
24k小善2 天前
FlinkUDF用户自定义函数深度剖析
java·大数据·spring·flink·云计算
Apache Flink2 天前
京东物流基于Flink & StarRocks的湖仓建设实践
java·大数据·flink
董可伦2 天前
Flink 源码编译
大数据·flink·源码
南客先生2 天前
海量聊天消息处理:ShardingJDBC分库分表、ClickHouse冷热数据分离、ES复合查询方案、Flink实时计算与SpringCloud集成
java·clickhouse·elasticsearch·flink·springcloud·shardingjdbc
背着黄油面包的猫2 天前
速通FlinkCDC3.0
数据库·mysql·flink