【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成"数据流图"(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就

是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为

"Worker"。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会

有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot

是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

相关推荐
sunxunyong2 小时前
spark History Server 重启失败
大数据·分布式·spark
方向研究3 小时前
浮法玻璃FG生产
大数据
YangYang9YangYan3 小时前
2026大专大数据科学专业就业市场竞争激烈吗?
大数据
KKKlucifer3 小时前
能源行业数据分类分级标准与落地实践
大数据
码农小白AI3 小时前
IACheck赋能教学实验样品分析检测,AI报告审核保障实验报告精准可靠
大数据·人工智能
云安全联盟大中华区3 小时前
[特殊字符] | OpenClaw威胁模型:MAESTRO框架分析
大数据·人工智能·深度学习·安全·ai
渣渣盟4 小时前
Flink定时器实战:处理时间与事件时间
大数据·flink·scala
ChoSeitaku4 小时前
Git的安装|创建仓库|配置Git|添加文件|修改文件|版本回退|撤销修改|删除文件
大数据·git·elasticsearch
T06205144 小时前
上市公司-创新数据汇总指标(创新投入、创新产出、创新效率)(2006-2024年)
大数据
卡梅德生物科技4 小时前
卡梅德生物科普:CD140a(PDGFRα)靶点深度解析:机制、药物研发与未来趋势
大数据·人工智能·面试·职场和发展·学习方法