【Flink】Flink架构及组件

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成"数据流图"(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就

是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为

"Worker"。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会

有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot

是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

相关推荐
双层吉士憨包10 分钟前
如何注册Talkatone免费美国号码?实测有效方案
大数据·运维·网络
培培说证1 小时前
2026 高职大数据专业零基础能考的证书有哪些?
大数据
Python_Study20251 小时前
工程材料企业如何通过智慧获客软件破解市场困局:方法论、架构与实践
大数据·网络·数据结构·人工智能·架构
zpedu1 小时前
PMP、软考中项、高项,你选哪个?
大数据
newsxun1 小时前
科技为刃,破界解锁全生命周期营养新时代
大数据·人工智能·科技
终端域名1 小时前
域名科普:常见的域名分类及特点
大数据·数字货币域名·网站域名
龙山云仓2 小时前
No132:AI中国故事-对话老子——道法自然与AI设计:无为而治、柔弱胜刚强与复杂系统智慧
大数据·人工智能·机器学习
开源能源管理系统3 小时前
MyEMS:开源赋能,构筑智慧能源管理新生态
大数据·开源·能源·能源管理系统
weixin199701080163 小时前
马可波罗 item_get - 获取商品详情接口对接全攻略:从入门到精通
java·大数据·人工智能
我和我导针锋相队3 小时前
在撰写项目书时,如何在有限的篇幅里平衡呈现“问题链”“合作证据链”和“创新落地计划”,避免内容冗余又能清晰传递核心信息?
大数据·运维·人工智能