Flink

运行架构

Flink 集群采取 Master - Slave 架构,Master 的角色为 JobManager,负责集群和作业管理,Slave 的角色是 TaskManager,负责执行计算任务,同时,Flink 提供客户端 Client 来管理集群和提交任务,JobManagerTaskManager 是集群的进程。

  • Client:Flink 客户端是 Flink 提供的 CLI 命令行工具,用来提交 Flink 作业到 Flink 集群,在客户端中负责 StreamGraph(流图)和 JobGraph(作业图)的构建。
  • JobManager:JobManager 根据并行度将 Flink 客户端提交的 Flink 应用分解为子任务,从资源管理器 ResourceManager 申请所需的计算资源,资源具备之后,开始分发任务到 TaskManager 执行 Task,并负责应用容错,跟踪作业的执行状态,发现异常则恢复作业等。
  • TaskManager:TaskManager 接收 JobManage 分发的子任务,根据自身的资源情况 管理子任务的启动、 停止、销毁、异常恢复等生命周期阶段。Flink 程序中必须有一个TaskManager。
相关推荐
会洗碗的CV工程师2 小时前
828华为云征文|使用Flexus X实例集成ES搜索引擎
大数据·linux·搜索引擎·centos·华为云
pyliumy2 小时前
ansible 配置
大数据·ansible
说私域2 小时前
CTMO时代下的营销新力量:2+1链动模式AI智能名片商城小程序
大数据·人工智能·小程序
墨家巨子@俏如来4 小时前
五.海量数据实时分析-FlinkCDC+DorisConnector实现数据的全量增量同步
大数据·doris
h177113472054 小时前
相亲交友系统源码中的数据安全策略
大数据·网络·安全·系统架构·vr·交友
袋鼠云数栈4 小时前
袋鼠云数据资产平台:数据模型标准化建表重构升级
大数据
武子康5 小时前
大数据-154 Apache Druid 架构与原理详解 基础架构、架构演进
java·大数据·clickhouse·hdfs·架构·flink·apache
YouyuanXway6 小时前
消费电子制造企业如何使用SAP系统提升运营效率与竞争力
大数据·人工智能