【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成"数据流图"(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就

是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为

"Worker"。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会

有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot

是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

相关推荐
数据皮皮侠12 分钟前
政府创新采购数据库(2016-2024)
大数据·数据库·人工智能·制造·微信开放平台
综合热讯15 分钟前
泛微发布数智业财融合创新方案,AI驱动组织构建“业·财·票·税·档”一体化
大数据·人工智能
安科瑞小许33 分钟前
高校宿舍电气安全新防线:浅析电气防火限流式保护技术
大数据·人工智能·安全·防火灾·限电流保护
神算大模型APi--天枢6461 小时前
从异构调度到边缘部署:国产大模型算力平台的后端开发能力拆解
大数据·人工智能·科技·架构·硬件架构
Jackyzhe1 小时前
Flink学习笔记:反压
大数据·flink
武子康1 小时前
大数据-182 Elasticsearch 倒排索引底层拆解:Terms 字典、FST、SkipList 与 Lucene 索引文件
大数据·后端·elasticsearch
秋刀鱼 ..1 小时前
第五届遥感与测绘国际学术会议(RSSM 2026)
大数据·运维·人工智能·机器人·自动化
数据科学项目实践1 小时前
建模步骤 3 :数据探索(EDA) — 1、初步了解数据:自定义函数
大数据·人工智能·python·机器学习·matplotlib·数据可视化
飞凌嵌入式1 小时前
飞凌嵌入式受邀亮相菲尼克斯电气技术研讨会,共探开放自动化新未来
大数据·人工智能·自动化