【Flink集群RPC通讯机制(三)】AkkaRpcActor设计与实现:接收RPC消息以及处理逻辑

文章目录

    • [1. 创建Receiver](#1. 创建Receiver)
    • [2. 进行消息处理](#2. 进行消息处理)

RPC请求发送后接收方的处理逻辑

在RpcEndpoint中创建的RemoteRpcInvocation消息,最终会通过Akka系统传递到被调用方。例如TaskExecutor向ResourceManager发送SlotReport请求的时候,会在TaskExecutor中将ResourceManagerGateway的方法名称和参数打包成RemoteRpcInvocation对象。然后经过网络发送到ResourceManager中的AkkaRpcActor,处理请求。

接下来深入了解AkkaRpcActor的设计与实现,了解在AkkaRpcActor中如何接收RemoteRpcInvocation消息并执行后续的操作。

1. 创建Receiver

如代码所示,首先在AkkaRpcActor中创建Receive对象,用于处理Akka系统接收的其他Actor发送过来的消息。

Receiver相关能力

在AkkaRpcActor中主要创建了RemoteHandshakeMessage、ControlMessages等消息对应的处理器,

  • 其中RemoteHandshakeMessage主要用于进行正式RPC通信之前的网络连接检测,保障RPC通信正常。
  • ControlMessages用于控制Akka系统,例如启动和停止Akka Actor等控制消息。这里我们重点关注第三种类型的消息,即在集群运行时中RPC组件通信使用的Message类型,此时会调用handleMessage()方法对这类消息进行处理。
java 复制代码
public Receive createReceive() {
    return ReceiveBuilder.create()
        .match(RemoteHandshakeMessage.class, this::handleHandshakeMessage)
        .match(ControlMessages.class, this::handleControlMessage)
        .matchAny(this::handleMessage)
        .build();
}

2. 进行消息处理

在AkkaRpcActor.handleMessage()方法中,最终会调用handleRpcMessage()方法继续对RPC消息进行处理。

如下代码:

java 复制代码
//根据RPC消息类型,进行不同方式处理
protected void handleRpcMessage(Object message) {
    if (message instanceof RunAsync) {
    //将代码块提交到本地线程池中执行
        handleRunAsync((RunAsync) message);
    } else if (message instanceof CallAsync) {
        handleCallAsync((CallAsync) message);
    } else if (message instanceof RpcInvocation) {
        handleRpcInvocation((RpcInvocation) message);
    } else {
        // 省略部分代码
        sendErrorIfSender(
            new AkkaUnknownMessageException("Received unknown message " + message +  
               " of type " +  message.getClass().getSimpleName() + '.'));
    }
}

接着看AkkaRpcActor.handleRpcInvocation()方法逻辑:

  1. 判断当前RpcEndpoint是否实现了指定rpcMethod。

例如JobMaster调用ResourceManagerGateway.requestSlot()方法,会在lookupRpcMethod()方法中判断当前ResourceManager实现的Endpoint是否提供了该方法的实现。

  1. 当rpcMethod不为空时,rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs())
  2. 调用sendAsyncResponse()、sendSyncResponse()方法通过Akka系统将RpcMethod返回值返回给调用方。
java 复制代码
private void handleRpcInvocation(RpcInvocation rpcInvocation) {
    Method rpcMethod = null;
    try {
        String methodName = rpcInvocation.getMethodName();
        Class<?>[] parameterTypes = rpcInvocation.getParameterTypes();
        rpcMethod = lookupRpcMethod(methodName, parameterTypes);
    } catch (ClassNotFoundException e) {
        // 省略部分代码
    }
    if (rpcMethod != null) {
        try {
            rpcMethod.setAccessible(true);
            if (rpcMethod.getReturnType().equals(Void.TYPE)) {
                // 没有返回值的情况
                rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
            }
            else {
                  // 有返回值的情况
                final Object result;
                try {
                    result = rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
                }
                catch (InvocationTargetException e) {
                    getSender()
                        .tell(new Status.Failure(e.getTargetException()), getSelf());
                    return;
                }
                final String methodName = rpcMethod.getName();
                if (result instanceof CompletableFuture) {
                    final CompletableFuture<?> responseFuture = 
                        (CompletableFuture<?>) result;
                    sendAsyncResponse(responseFuture, methodName);
                } else {
                    sendSyncResponse(result, methodName);
                }
            }
        } catch (Throwable e) {
            log.error("Error while executing remote procedure call {}.", 
                      rpcMethod, e);
            // 通知错误信息
            getSender().tell(new Status.Failure(e), getSelf());
        }
    }
}

接下来从更加宏观的角度了解各组件之间如何基于已经实现的RPC框架进行通信,进一步加深对Flink中RPC框架的了解。

参考:《Flink设计与实现:核心原理与源码解析》--张利兵

相关推荐
tan77º12 分钟前
【项目】分布式Json-RPC框架 - 项目介绍与前置知识准备
linux·网络·分布式·网络协议·tcp/ip·rpc·json
Q_Q196328847540 分钟前
python的电影院座位管理可视化数据分析系统
开发语言·spring boot·python·django·flask·node.js·php
Ashlee_code3 小时前
香港券商智能櫃台系統技術解決方案——融合跨境清算與AI風控,助力券商把握滬港雙市爆發機遇**
java·科技·金融·重构·架构·系统架构·php
nightunderblackcat4 小时前
进阶向:人物关系三元组,解锁人物关系网络的钥匙
开发语言·python·开源·php
陆小叁7 小时前
基于Flink CDC实现联系人与标签数据实时同步至ES的实践
java·elasticsearch·flink
向日葵.21 小时前
fastdds.ignore_local_endpoints 属性
服务器·网络·php
专注API从业者1 天前
基于 Flink 的淘宝实时数据管道设计:商品详情流式处理与异构存储
大数据·前端·数据库·数据挖掘·flink
mask哥1 天前
详解flink java基础(一)
java·大数据·微服务·flink·实时计算·领域驱动
livemetee1 天前
Flink2.0学习笔记:Flink服务器搭建与flink作业提交
大数据·笔记·学习·flink
dog2501 天前
难以超越的 TCP AIMD
网络协议·tcp/ip·php