【Flink集群RPC通讯机制(三)】AkkaRpcActor设计与实现:接收RPC消息以及处理逻辑

文章目录

    • [1. 创建Receiver](#1. 创建Receiver)
    • [2. 进行消息处理](#2. 进行消息处理)

RPC请求发送后接收方的处理逻辑

在RpcEndpoint中创建的RemoteRpcInvocation消息,最终会通过Akka系统传递到被调用方。例如TaskExecutor向ResourceManager发送SlotReport请求的时候,会在TaskExecutor中将ResourceManagerGateway的方法名称和参数打包成RemoteRpcInvocation对象。然后经过网络发送到ResourceManager中的AkkaRpcActor,处理请求。

接下来深入了解AkkaRpcActor的设计与实现,了解在AkkaRpcActor中如何接收RemoteRpcInvocation消息并执行后续的操作。

1. 创建Receiver

如代码所示,首先在AkkaRpcActor中创建Receive对象,用于处理Akka系统接收的其他Actor发送过来的消息。

Receiver相关能力

在AkkaRpcActor中主要创建了RemoteHandshakeMessage、ControlMessages等消息对应的处理器,

  • 其中RemoteHandshakeMessage主要用于进行正式RPC通信之前的网络连接检测,保障RPC通信正常。
  • ControlMessages用于控制Akka系统,例如启动和停止Akka Actor等控制消息。这里我们重点关注第三种类型的消息,即在集群运行时中RPC组件通信使用的Message类型,此时会调用handleMessage()方法对这类消息进行处理。
java 复制代码
public Receive createReceive() {
    return ReceiveBuilder.create()
        .match(RemoteHandshakeMessage.class, this::handleHandshakeMessage)
        .match(ControlMessages.class, this::handleControlMessage)
        .matchAny(this::handleMessage)
        .build();
}

2. 进行消息处理

在AkkaRpcActor.handleMessage()方法中,最终会调用handleRpcMessage()方法继续对RPC消息进行处理。

如下代码:

java 复制代码
//根据RPC消息类型,进行不同方式处理
protected void handleRpcMessage(Object message) {
    if (message instanceof RunAsync) {
    //将代码块提交到本地线程池中执行
        handleRunAsync((RunAsync) message);
    } else if (message instanceof CallAsync) {
        handleCallAsync((CallAsync) message);
    } else if (message instanceof RpcInvocation) {
        handleRpcInvocation((RpcInvocation) message);
    } else {
        // 省略部分代码
        sendErrorIfSender(
            new AkkaUnknownMessageException("Received unknown message " + message +  
               " of type " +  message.getClass().getSimpleName() + '.'));
    }
}

接着看AkkaRpcActor.handleRpcInvocation()方法逻辑:

  1. 判断当前RpcEndpoint是否实现了指定rpcMethod。

例如JobMaster调用ResourceManagerGateway.requestSlot()方法,会在lookupRpcMethod()方法中判断当前ResourceManager实现的Endpoint是否提供了该方法的实现。

  1. 当rpcMethod不为空时,rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs())
  2. 调用sendAsyncResponse()、sendSyncResponse()方法通过Akka系统将RpcMethod返回值返回给调用方。
java 复制代码
private void handleRpcInvocation(RpcInvocation rpcInvocation) {
    Method rpcMethod = null;
    try {
        String methodName = rpcInvocation.getMethodName();
        Class<?>[] parameterTypes = rpcInvocation.getParameterTypes();
        rpcMethod = lookupRpcMethod(methodName, parameterTypes);
    } catch (ClassNotFoundException e) {
        // 省略部分代码
    }
    if (rpcMethod != null) {
        try {
            rpcMethod.setAccessible(true);
            if (rpcMethod.getReturnType().equals(Void.TYPE)) {
                // 没有返回值的情况
                rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
            }
            else {
                  // 有返回值的情况
                final Object result;
                try {
                    result = rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());
                }
                catch (InvocationTargetException e) {
                    getSender()
                        .tell(new Status.Failure(e.getTargetException()), getSelf());
                    return;
                }
                final String methodName = rpcMethod.getName();
                if (result instanceof CompletableFuture) {
                    final CompletableFuture<?> responseFuture = 
                        (CompletableFuture<?>) result;
                    sendAsyncResponse(responseFuture, methodName);
                } else {
                    sendSyncResponse(result, methodName);
                }
            }
        } catch (Throwable e) {
            log.error("Error while executing remote procedure call {}.", 
                      rpcMethod, e);
            // 通知错误信息
            getSender().tell(new Status.Failure(e), getSelf());
        }
    }
}

接下来从更加宏观的角度了解各组件之间如何基于已经实现的RPC框架进行通信,进一步加深对Flink中RPC框架的了解。

参考:《Flink设计与实现:核心原理与源码解析》--张利兵

相关推荐
代码匠心1 小时前
从零开始学Flink:实时数仓与维表时态Join实战
大数据·flink·kafka·flink sql
сокол2 小时前
【网安-Web渗透测试-漏洞系列】XXE漏洞
xml·web安全·php
海南java第二人2 小时前
Flink运行时组件深度解析:Java工程师的架构设计与实战指南
java·大数据·flink
WJX_KOI2 小时前
保姆级教程:Apache Flink CDC(standalone 模式)部署 MySQL CDC、PostgreSQL CDC 及使用方法
java·大数据·mysql·postgresql·flink
Hello.Reader4 小时前
Flink 大状态 Checkpoint 调优让 Checkpoint 跑得稳、恢复追得上
大数据·flink
天若有情6734 小时前
我发明的 C++「数据注入模型(DWM)」:比构造函数更规范、更专业的结构体创建写法
开发语言·c++·rpc
Hello.Reader5 小时前
Flink Savepoint 可控升级、可回滚、可分叉的“状态快照”
大数据·flink
сокол1 天前
【网安-Web渗透测试-漏洞系列】文件包含&下载读取
web安全·php
zlp19921 天前
Flink DataStream API 消费binlog kafka实践
数据库·flink·kafka