浅议Flink中的通讯工具: Akka

在Flink中,各个组件之间需要频繁交换数据和控制信息。Flink选择了基于Actor模型的Akka框架作为通信基础。

Akka是什么

Actor模型

Actor模型是用于单个进程中并发的场景。

在Actor模型中:

  • ActorSystem负责管理actor生命周期

  • 将每个实体视为独立的 Actor,拥有自己的状态。

  • 每个Actor一次只处理一条消息,不需要担心线程

  • Actor之间通过消息传递进行异步通信,而不是直接调用1

    即:每个Actor都有一个类似信箱的消息队列(mailbox),用于接收其他Actor发来的消息以备后续处理。 (在不使用Actor模型时,假设actor2和actor3在各自线程中都要让actor1修改某个数据,那么actor1就不得不加锁来避免线程之间的竞争。而在Actor模型中,actor2和actor3只是通过发送邮件来让actor1修改某个数据。actor1逐一从邮箱中拿出邮件执行改名行为,这就不会产生竞争。)

这种设计既保证了并发安全,又提供了良好的扩展性。

Akka:分布式Actor框架

Akka是一个将消息代理和Actor模型进行整合的分布式框架2,actor被用来进行节点内和节点间的消息传递。在Akka中:

  1. 每个Actor都有唯一的路径标识

  2. 通过ActorRef(Actor的引用)进行通信

  3. 支持两种通信模式:

  • tell:发送消息后无需等待响应

  • ask:发送消息后通过异步回调函数处理响应

Flink中的Akka应用

Flink中的JobManager,TaskManager,Dispatcher等之间会相互通信(即Remote Procedure Call ,RPC),以进行fink作业的提交,资源分配和作业调度等。

RPC框架中涉及了JobManager,TaskManager,Dispatcher等类。

从运行日志中可知,JobManager/TaskManager/Dispatcher等组件在启动时都会被封装为RpcEndpoint,从而具备通信能力。

RPC框架就是基于Akka实现的,并对Akka中的ActorSystem、Actor进行了封装3。

RPC(本地/远程)调用,底层是通过 Akka 提供的 tell/ask 方法进行通信。

通过这种设计,Flink既利用了Akka成熟的通信机制,又能根据自身需求进行定制化扩展。

参考

sql 复制代码
1. 尚硅谷Flink内核源码解析课程(从入门到精通)
https://www.bilibili.com/video/BV1rh411C77P?spm_id_from=333.788.videopod.episodes&vd_source=23ce4decfcb0fd94528070beadbbc9e2&p=39
2.《数据密集型应用系统设计》  Martin Kleppmann 著 P132-P134
3. 深入理解 Flink(三)Flink 内核基础设施源码级原理详解 https://juejin.cn/post/7321979919674736694#heading-8
相关推荐
Gl�ria20 小时前
Flink Yarn-Session Job 相关常用脚本
flink
笨鸟先飞的橘猫21 小时前
skynet——RPC 超时机制优化方案
游戏·rpc·skynet
Norris Huang1 天前
Kafka Connect 与 Flink CDC 写入 Iceberg:Upsert 的代价,以及 S3 Tables 的真正价值
分布式·flink·kafka
9624562 天前
Go EVM 链上数据平台实践:从 RPC Demo 到可演进架构
rpc·架构·golang
用户3610588626122 天前
Flink 优化之 CheckPoint 优化及参数详解:从原理到生产环境调优的完整指南
大数据·flink
用户3610588626123 天前
Flink SQL 之 Flink SQL 企业级案例分析:从实时大屏到用户画像与风控告警的生产实践
大数据·flink
用户3610588626123 天前
Flink SQL 之 Table Window 原理及代码实现:从滚动窗口到窗口 TopN 与窗口 Join 实战
大数据·flink
打工仔折腾 AI3 天前
用 Dashlet 把极空间 NAS 服务入口整理成统一导航首页的实践
java·开发语言·人工智能·后端·python·rpc·ai agent 实战
小楼昨夜又东风1265 天前
一文理清K8s PVC挂载完整流程
容器·rpc·kubernetes
青柠之夏cc5 天前
Laravel服务容器底层原理揭秘
javascript·rpc·laravel