Hadoop3:RPC通信原理及简单案例实现

一、场景介绍

我们知道,Hadoop中存在多种服务,那么,服务之间是如何通信的了?

比如,DN和NN之间如何通信?

这里,实际上是通过RPC实现进程间通信的了。

RPC属于Java网络编程范畴

需要编写客户端和服务端

底层实现是NIO

一般RPC框架的使用,需要配合服务注册中心组件使用。比如zookeeper,nacos等

客户端通过zookeeper,拿到服务端的IP、PORT、method等参数

然后,本地实现远程服务调用,就类似调用本地方法一样简洁。

比较成功的RPC框架有:Dubbo、WebSocket、gRPC、OpenFeign等

二、案例

1、需求

模拟RPC的客户端、服务端、通信协议三者如何工作的

2、代码

接口RPCProtocol

java 复制代码
package com.atguigu.rpc;

public interface RPCProtocol {
	long versionID = 666;
	void mkdirs(String path);
}

服务端NNServer

java 复制代码
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;

import java.io.IOException;

public class NNServer implements RPCProtocol {
	@Override
	public void mkdirs(String path) {
		System.out.println("服务端,创建路径" + path);
	}

	public static void main(String[] args) throws IOException {

		Server server = new RPC.Builder(new Configuration())
				.setBindAddress("localhost")
				.setPort(8888)
				.setProtocol(RPCProtocol.class)
				.setInstance(new NNServer())
				.build();

		System.out.println("服务器开始工作");

		server.start();
	}
}

客户端HDFSClient

java 复制代码
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

public class HDFSClient {
	public static void main(String[] args) throws IOException {
		RPCProtocol client = RPC.getProxy(
				RPCProtocol.class,
				RPCProtocol.versionID,
				new InetSocketAddress("localhost", 8888),
				new Configuration());

		System.out.println("我是客户端");

		client.mkdirs("/input");
	}
}

3、测试

启动服务端

查看进程

运行客户端

服务端方法被执行

相关推荐
小乖写代码2 小时前
帧协议(TCP) · TCP Framing
网络·网络协议·tcp/ip·tcp
如夏倾城18 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
张小姐的猫21 小时前
【基于 WebSocket 的多用户网页五子棋】—— 认识第三方库Websocketpp
网络·websocket·网络协议
张小姐的猫21 小时前
【基于 WebSocket 的多用户网页五子棋】—— 游戏匹配对战设计
websocket·网络协议·游戏
LightBreeze200221 小时前
IS-IS 基本概念详解——报文类型、地址结构与网络拓扑
网络·lsp·路由协议·net·is-is
小乖写代码2 天前
提交注册验证 · WhatsApp /v2/register
android·网络·账号注册
多弗朗皮卡丘2 天前
网络基础:数据链路层与其他协议或技术
linux·网络·tcp/ip
我不会插花弄玉2 天前
9.数据链路层【由浅入深-网络】
网络
进击的荆棘2 天前
Linux网络——网络基础概念
linux·运维·服务器·网络
LightBreeze20022 天前
从 LSA 到路由计算,彻底理解 OSPF 的区域路由与防环机制
网络·智能路由器·ospf·lsa·spf