浅议Flink中的通讯工具: Akka

在Flink中,各个组件之间需要频繁交换数据和控制信息。Flink选择了基于Actor模型的Akka框架作为通信基础。

Akka是什么

Actor模型

Actor模型是用于单个进程中并发的场景。

在Actor模型中:

  • ActorSystem负责管理actor生命周期

  • 将每个实体视为独立的 Actor,拥有自己的状态。

  • 每个Actor一次只处理一条消息,不需要担心线程

  • Actor之间通过消息传递进行异步通信,而不是直接调用[1]

    即:每个Actor都有一个类似信箱的消息队列(mailbox),用于接收其他Actor发来的消息以备后续处理。 (在不使用Actor模型时,假设actor2和actor3在各自线程中都要让actor1修改某个数据,那么actor1就不得不加锁来避免线程之间的竞争。而在Actor模型中,actor2和actor3只是通过发送邮件来让actor1修改某个数据。actor1逐一从邮箱中拿出邮件执行改名行为,这就不会产生竞争。)

这种设计既保证了并发安全,又提供了良好的扩展性。

Akka:分布式Actor框架

Akka是一个将消息代理和Actor模型进行整合的分布式框架[2],actor被用来进行节点内和节点间的消息传递。在Akka中:

  1. 每个Actor都有唯一的路径标识

  2. 通过ActorRef(Actor的引用)进行通信

  3. 支持两种通信模式:

  • tell:发送消息后无需等待响应

  • ask:发送消息后通过异步回调函数处理响应

Flink中的Akka应用

Flink中的JobManager,TaskManager,Dispatcher等之间会相互通信(即Remote Procedure Call ,RPC),以进行fink作业的提交,资源分配和作业调度等。

RPC框架中涉及了JobManager,TaskManager,Dispatcher等类。

从运行日志中可知,JobManager/TaskManager/Dispatcher等组件在启动时都会被封装为RpcEndpoint,从而具备通信能力。

RPC框架就是基于Akka实现的,并对Akka中的ActorSystem、Actor进行了封装[3]。

RPC(本地/远程)调用,底层是通过 Akka 提供的 tell/ask 方法进行通信。

通过这种设计,Flink既利用了Akka成熟的通信机制,又能根据自身需求进行定制化扩展。

参考

sql 复制代码
1. 尚硅谷Flink内核源码解析课程(从入门到精通)
https://www.bilibili.com/video/BV1rh411C77P?spm_id_from=333.788.videopod.episodes&vd_source=23ce4decfcb0fd94528070beadbbc9e2&p=39
2.《数据密集型应用系统设计》  Martin Kleppmann 著 P132-P134
3. 深入理解 Flink(三)Flink 内核基础设施源码级原理详解 https://juejin.cn/post/7321979919674736694#heading-8
相关推荐
Hello.Reader3 小时前
Flink ZooKeeper HA 实战原理、必配项、Kerberos、安全与稳定性调优
安全·zookeeper·flink
Hello.Reader7 小时前
Flink 使用 Amazon S3 读写、Checkpoint、插件选择与性能优化
大数据·flink
Hello.Reader7 小时前
Flink 对接 Google Cloud Storage(GCS)读写、Checkpoint、插件安装与生产配置指南
大数据·flink
Hello.Reader8 小时前
Flink Kubernetes HA(高可用)实战原理、前置条件、配置项与数据保留机制
贪心算法·flink·kubernetes
wending-Y9 小时前
记录一次排查Flink一直重启的问题
大数据·flink
Hello.Reader9 小时前
Flink 对接 Azure Blob Storage / ADLS Gen2:wasb:// 与 abfs://(读写、Checkpoint、插件与认证)
flink·flask·azure
Hello.Reader11 小时前
Flink 文件系统通用配置默认文件系统与连接数限制实战
vue.js·flink·npm
Hello.Reader16 小时前
Flink Plugins 机制隔离 ClassLoader、目录结构、FileSystem/Metric Reporter 实战与避坑
大数据·flink
Hello.Reader17 小时前
Flink JobManager 高可用(High Availability)原理、组件、数据生命周期与 JobResultStore 实战
大数据·flink
Hello.Reader17 小时前
Flink 对接阿里云 OSS(Object Storage Service)读写、Checkpoint、插件安装与配置模板
大数据·阿里云·flink