Flink-运行架构

flink运行架构涉及到四大组件:
作业管理器(JobManager)

主要作用:是应用程序执行的主进程,换句话说,每一个flink进程都有一个对应的JobManager 所控制;JobManager会接收 应用程序所需要的可执行资源(作业图(JobGraph)、逻辑数据流图(logical dataflow graph)和打包了所有的类、库和其它资源的 JAR 包)。当接收到应用程序以及所属的资源后,会向资源管理器(ResourceManager)请求执行任务必要的资源,也就是任务管理器(TaskManager)上的插槽(slot);然后会将执行图(JobGraph被转化为可执行图)分发到真正运行它们的TaskManager 上。

其次,还涉及检查点(checkpoint)的协调。
资源管理器(ResourceManager):里面包含真正的插槽
主要作用
主要负责管理任务管理器( TaskManager )的插槽( slot ), TaskManger 插槽是 Flink 中
定义的处理资源单元。当 JobManager 申请资源的时候, ResourceManager会将有空闲插槽的 TaskManager 分配给 JobManager;资源不足还会向资源平台发起请求来满足启动taskManager;
其次,还负责终止 空闲的taskManager,释放资源。
任务管理器(TaskManager)
主要作用
Flink 中的工作进程。在实际的flink 应用程序中,会有多个taskManager,每个taskManager 会包含一个或多个 slot(插槽);插槽的数量限制了TaskManager可以执行的任务数量。一旦启动taskManager, 这些taskManager 会向 资源管理器( ResourceManager )注册插槽(slot),然后提供给 任务管理器( JobManager )调用; JobManager就可以分配插槽 执行任务。
分发器(Dispatcher
主要作用
可以跨作业运行,它为应用提交提供了 REST 接口。当一个应用被提交执行时,分发器
就会启动并将应用移交给一个 JobManager 。由于是 REST 接口,所以 Dispatcher 可以作为集
群的一个 HTTP 接入点,这样就能够不受防火墙阻挡。 Dispatcher 也会启动一个 Web UI ,用
来方便地展示和监控作业执行的信息。 Dispatcher 在架构中可能并不是必需的,这取决于应
用提交运行的方式。

相关推荐
RunningShare9 小时前
从“国庆景区人山人海”看大数据处理中的“数据倾斜”难题
大数据·flink
Hello.Reader10 小时前
Flink 执行模式在 STREAMING 与 BATCH 之间做出正确选择
大数据·flink·batch
Hello.Reader16 小时前
Flink 连接器与格式thin/uber 制品、打包策略与上线清单
大数据·flink
Hello.Reader20 小时前
Flink 内置 Watermark 生成器单调递增与有界乱序怎么选?
大数据·flink
工作中的程序员20 小时前
flink UTDF函数
大数据·flink
工作中的程序员20 小时前
flink keyby使用与总结 基础片段梳理
大数据·flink
武子康21 小时前
大数据-119 - Flink Flink 窗口(Window)全解析:Tumbling、Sliding、Session 应用场景 使用详解 最佳实践
大数据·后端·flink
nihaoma30201 天前
[JS]JavaScript的性能优化从内存泄露到垃圾回收的实战解析
flink
RunningShare1 天前
千万级用户电商平台,Flink实时推荐系统如何实现毫秒级延迟?
大数据·flink·推荐系统·ab测试