【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成"数据流图"(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就

是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为

"Worker"。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会

有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot

是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

相关推荐
Hrain-AI7 小时前
企业 AI 治理运营怎么做:分级授权、Token 用量可观测与模型统一纳管
大数据·人工智能·算法
lhldsg7 小时前
线上住宿预约系统开发实战:从需求分析到接口设计
java·大数据·小程序·需求分析
江苏赛融科技8 小时前
数据驱动:能耗管理系统如何将能源数据转化为管理决策资产
大数据·人工智能·能源·智慧园区·企业资产管理·园区智能化
AI智图坊8 小时前
宠物用品电商视觉内容生产的技术难点与自动化方案分析
大数据·运维·人工智能·ai作画·自动化·aigc
陕西企来客8 小时前
2026年8月真实安装案例:门窗现场施工到完工记录
大数据·运维·真实安装案例
财迅通Ai8 小时前
TCL中环2026年中报大幅减亏,一体化与全球化共同驱动经营改善
大数据·人工智能·tcl中环
GEO_youxuan8 小时前
换充电站建设选哪个品牌?2026年方案与保障对比
大数据
Code知行合壹8 小时前
数据中台设计
大数据·分布式·spark
盟接之桥8 小时前
半导体供应链破局:EDI如何成为中国制造的数字通行证
大数据·运维·服务器·网络·数据库·人工智能·制造
wangchunyu1149 小时前
Elasticsearch 入门与实战:Spring Boot 3 + ES 8 从零搭建商品搜索服务
大数据·数据库·spring boot·elasticsearch