浅议Flink中的通讯工具: Akka

在Flink中,各个组件之间需要频繁交换数据和控制信息。Flink选择了基于Actor模型的Akka框架作为通信基础。

Akka是什么

Actor模型

Actor模型是用于单个进程中并发的场景。

在Actor模型中:

  • ActorSystem负责管理actor生命周期

  • 将每个实体视为独立的 Actor,拥有自己的状态。

  • 每个Actor一次只处理一条消息,不需要担心线程

  • Actor之间通过消息传递进行异步通信,而不是直接调用1

    即:每个Actor都有一个类似信箱的消息队列(mailbox),用于接收其他Actor发来的消息以备后续处理。 (在不使用Actor模型时,假设actor2和actor3在各自线程中都要让actor1修改某个数据,那么actor1就不得不加锁来避免线程之间的竞争。而在Actor模型中,actor2和actor3只是通过发送邮件来让actor1修改某个数据。actor1逐一从邮箱中拿出邮件执行改名行为,这就不会产生竞争。)

这种设计既保证了并发安全,又提供了良好的扩展性。

Akka:分布式Actor框架

Akka是一个将消息代理和Actor模型进行整合的分布式框架2,actor被用来进行节点内和节点间的消息传递。在Akka中:

  1. 每个Actor都有唯一的路径标识

  2. 通过ActorRef(Actor的引用)进行通信

  3. 支持两种通信模式:

  • tell:发送消息后无需等待响应

  • ask:发送消息后通过异步回调函数处理响应

Flink中的Akka应用

Flink中的JobManager,TaskManager,Dispatcher等之间会相互通信(即Remote Procedure Call ,RPC),以进行fink作业的提交,资源分配和作业调度等。

RPC框架中涉及了JobManager,TaskManager,Dispatcher等类。

从运行日志中可知,JobManager/TaskManager/Dispatcher等组件在启动时都会被封装为RpcEndpoint,从而具备通信能力。

RPC框架就是基于Akka实现的,并对Akka中的ActorSystem、Actor进行了封装3

RPC(本地/远程)调用,底层是通过 Akka 提供的 tell/ask 方法进行通信。

通过这种设计,Flink既利用了Akka成熟的通信机制,又能根据自身需求进行定制化扩展。

参考

sql 复制代码
1. 尚硅谷Flink内核源码解析课程(从入门到精通)
https://www.bilibili.com/video/BV1rh411C77P?spm_id_from=333.788.videopod.episodes&vd_source=23ce4decfcb0fd94528070beadbbc9e2&p=39
2.《数据密集型应用系统设计》  Martin Kleppmann 著 P132-P134
3. 深入理解 Flink(三)Flink 内核基础设施源码级原理详解 https://juejin.cn/post/7321979919674736694#heading-8
相关推荐
abcy0712134 小时前
flink state实例
大数据·算法·flink
Flink_China5 小时前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
abcy0712137 小时前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink
大大大大晴天️8 小时前
Flink DataStream API 进阶使用与避坑指南
大数据·flink
豆浆D油条1 天前
QT容器类QList调用erase崩溃
开发语言·qt·rpc
abcy0712131 天前
flink Task Slots and Resources详解
flink
大大大大晴天2 天前
Flink DataStream API多流操作与实践
flink
怒放de生命20102 天前
【web3基础】go-zero创建rpc服务,创建配置文件(二)
开发语言·rpc·golang·web3
大大大大晴天3 天前
深入浅出 Flink DataStream API:原理与使用
flink
大大大大晴天4 天前
聊聊Flink的几种血缘方案
前端·flink