Flink

运行架构

Flink 集群采取 Master - Slave 架构,Master 的角色为 JobManager,负责集群和作业管理,Slave 的角色是 TaskManager,负责执行计算任务,同时,Flink 提供客户端 Client 来管理集群和提交任务,JobManagerTaskManager 是集群的进程。

  • Client:Flink 客户端是 Flink 提供的 CLI 命令行工具,用来提交 Flink 作业到 Flink 集群,在客户端中负责 StreamGraph(流图)和 JobGraph(作业图)的构建。
  • JobManager:JobManager 根据并行度将 Flink 客户端提交的 Flink 应用分解为子任务,从资源管理器 ResourceManager 申请所需的计算资源,资源具备之后,开始分发任务到 TaskManager 执行 Task,并负责应用容错,跟踪作业的执行状态,发现异常则恢复作业等。
  • TaskManager:TaskManager 接收 JobManage 分发的子任务,根据自身的资源情况 管理子任务的启动、 停止、销毁、异常恢复等生命周期阶段。Flink 程序中必须有一个TaskManager。
相关推荐
一只鹿鹿鹿13 小时前
信息化项目管理规范(参考Word文件)
java·大数据·运维·开发语言·数据库
TAOCARTS00113 小时前
反向海淘旺季运营技巧,借助独立站快速拉升店铺单量
大数据·人工智能
数据仓库_晨曦13 小时前
【无标题】
大数据·sql·spark
Bechamz13 小时前
大数据开发学习Day45
大数据·学习
暴躁小师兄数据学院13 小时前
【AI大数据工程师特训笔记】第10讲:数据库用户、权限管理、数据库约束
大数据·数据库·笔记·sql·postgresql
标书畅畅行13 小时前
2026 年 AI 标书工具市场观察:技术迭代与选型指南
大数据·人工智能
黎阳之光14 小时前
视频孪生+空天地水工融合,黎阳之光构建智慧水利监测新范式
大数据·人工智能·物联网·算法·安全
暴躁小师兄数据学院14 小时前
【AI大数据工程师特训笔记】第02讲:PostgreSQL数据库生态全景
大数据·数据库·人工智能·postgresql
2601_9578822415 小时前
企业矩阵系统建设实践:优化内容资产与数字获客流程
大数据·人工智能·矩阵系统·企业数字化运营
GIS数据转换器15 小时前
智慧能源管理平台
java·大数据·运维·人工智能·无人机