【Flink集群RPC通讯机制(三)】AkkaRpcActor设计与实现:接收RPC消息以及处理逻辑

文章目录

    • [1. 创建Receiver](#1. 创建Receiver)
    • [2. 进行消息处理](#2. 进行消息处理)

RPC请求发送后接收方的处理逻辑

在RpcEndpoint中创建的RemoteRpcInvocation消息,最终会通过Akka系统传递到被调用方。例如TaskExecutor向ResourceManager发送SlotReport请求的时候,会在TaskExecutor中将ResourceManagerGateway的方法名称和参数打包成RemoteRpcInvocation对象。然后经过网络发送到ResourceManager中的AkkaRpcActor,处理请求。

接下来深入了解AkkaRpcActor的设计与实现,了解在AkkaRpcActor中如何接收RemoteRpcInvocation消息并执行后续的操作。

1. 创建Receiver

如代码所示,首先在AkkaRpcActor中创建Receive对象,用于处理Akka系统接收的其他Actor发送过来的消息。

Receiver相关能力

在AkkaRpcActor中主要创建了RemoteHandshakeMessage、ControlMessages等消息对应的处理器,

  • 其中RemoteHandshakeMessage主要用于进行正式RPC通信之前的网络连接检测,保障RPC通信正常。
  • ControlMessages用于控制Akka系统,例如启动和停止Akka Actor等控制消息。这里我们重点关注第三种类型的消息,即在集群运行时中RPC组件通信使用的Message类型,此时会调用handleMessage()方法对这类消息进行处理。
java 复制代码
public Receive createReceive() {
    return ReceiveBuilder.create()
        .match(RemoteHandshakeMessage.class, this::handleHandshakeMessage)
        .match(ControlMessages.class, this::handleControlMessage)
        .matchAny(this::handleMessage)
        .build();
}

2. 进行消息处理

在AkkaRpcActor.handleMessage()方法中,最终会调用handleRpcMessage()方法继续对RPC消息进行处理。

如下代码:

java 复制代码
//根据RPC消息类型,进行不同方式处理
protected void handleRpcMessage(Object message) {
    if (message instanceof RunAsync) {
    //将代码块提交到本地线程池中执行
        handleRunAsync((RunAsync) message);
    } else if (message instanceof CallAsync) {
        handleCallAsync((CallAsync) message);
    } else if (message instanceof RpcInvocation) {
        handleRpcInvocation((RpcInvocation) message);
    } else {
        // 省略部分代码
        sendErrorIfSender(
            new AkkaUnknownMessageException("Received unknown message " + message +  
               " of type " +  message.getClass().getSimpleName() + '.'));
    }
}

接着看AkkaRpcActor.handleRpcInvocation()方法逻辑:

  1. 判断当前RpcEndpoint是否实现了指定rpcMethod。

例如JobMaster调用ResourceManagerGateway.requestSlot()方法,会在lookupRpcMethod()方法中判断当前ResourceManager实现的Endpoint是否提供了该方法的实现。

  1. 当rpcMethod不为空时,rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs())
  2. 调用sendAsyncResponse()、sendSyncResponse()方法通过Akka系统将RpcMethod返回值返回给调用方。
java 复制代码
private void handleRpcInvocation(RpcInvocation rpcInvocation) {
    Method rpcMethod = null;
    try {
        String methodName = rpcInvocation.getMethodName();
        Class<?>[] parameterTypes = rpcInvocation.getParameterTypes();
        rpcMethod = lookupRpcMethod(methodName, parameterTypes);
    } catch (ClassNotFoundException e) {
        // 省略部分代码
    }
    if (rpcMethod != null) {
        try {
            rpcMethod.setAccessible(true);
            if (rpcMethod.getReturnType().equals(Void.TYPE)) {
                // 没有返回值的情况
                rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
            }
            else {
                  // 有返回值的情况
                final Object result;
                try {
                    result = rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
                }
                catch (InvocationTargetException e) {
                    getSender()
                        .tell(new Status.Failure(e.getTargetException()), getSelf());
                    return;
                }
                final String methodName = rpcMethod.getName();
                if (result instanceof CompletableFuture) {
                    final CompletableFuture<?> responseFuture = 
                        (CompletableFuture<?>) result;
                    sendAsyncResponse(responseFuture, methodName);
                } else {
                    sendSyncResponse(result, methodName);
                }
            }
        } catch (Throwable e) {
            log.error("Error while executing remote procedure call {}.", 
                      rpcMethod, e);
            // 通知错误信息
            getSender().tell(new Status.Failure(e), getSelf());
        }
    }
}

接下来从更加宏观的角度了解各组件之间如何基于已经实现的RPC框架进行通信,进一步加深对Flink中RPC框架的了解。

参考:《Flink设计与实现:核心原理与源码解析》--张利兵

相关推荐
数智启示录7 小时前
Flink CDC 机制精讲(二):Checkpoint Barrier 如何形成一致快照 【面试宝典】
大数据·经验分享·面试·flink
MartinYeung512 小时前
[论文学习]小型代码语言模型中的潜伏代理行为研究
学习·语言模型·php
P1Browser12 小时前
指纹浏览器安全吗?从浏览器环境隔离、数据存储到安全风险解析
网络·tcp/ip·安全·网络安全·github·php
数据知道14 小时前
PHP 代码审计实战——ThinkPHP、Laravel 历史漏洞模式深度剖析
android·网络·web安全·网络安全·php·laravel
郑州光合科技余经理14 小时前
本地生活平台搭建:统一订单表与多后台切换怎么拆
java·开发语言·前端·系统架构·uni-app·php·ai编程
数智启示录16 小时前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06
大数据·flink·kafka
头茬韭菜16 小时前
功能点 11-12:客户端、RPC 通信、监控与安全
网络协议·安全·rpc·fluss
数智启示录18 小时前
实时数据湖 Flink CDC + Kafka +Doris 【企业级实战】之Kafka 事件缓冲层 【附核心源码】 04
java·大数据·flink·kafka·数据库开发
数智启示录18 小时前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】性能调优与生产运维闭环 09
运维·flink·kafka
存在morning19 小时前
【Flink SQL 学习笔记 二】实时聚合:用窗口和 Watermark 把订单按时段统计
sql·学习·flink