【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成"数据流图"(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就

是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为

"Worker"。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会

有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot

是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

相关推荐
V搜xhliang02465 小时前
机器人建模(URDF)与仿真配置
大数据·人工智能·深度学习·机器学习·自然语言处理·机器人
房产中介行业研习社5 小时前
2026年3月哪些房源管理系统功能全
大数据·运维·人工智能
玄微云7 小时前
2026年通用软件难适配,垂直店务系统反而更省心
大数据·云计算·软件需求
Elastic 中国社区官方博客7 小时前
Elastic 为什么捐赠其 OpenTelemetry PHP 发行版
大数据·开发语言·elasticsearch·搜索引擎·信息可视化·全文检索·php
方向研究8 小时前
ABS生产
大数据
TDengine (老段)8 小时前
TDengine 视图功能使用
大数据·数据库·servlet·时序数据库·tdengine·涛思数据
TDengine (老段)8 小时前
TDengine IDMP 运维指南 —— 部署架构
大数据·运维·数据库·架构·时序数据库·tdengine·涛思数据
utmhikari9 小时前
【测试人生】变更规则校验Agent研发的一些思路
大数据·人工智能·llm·agent·变更风险·openclaw
AC赳赳老秦9 小时前
DeepSeek优化多智能体指令:避免协同冲突,提升自动化流程稳定性
android·大数据·运维·人工智能·自然语言处理·自动化·deepseek
成长之路5149 小时前
【数据集】A股上市公司数字投资数据集-含代码(2000-2024年)
大数据