Hadoop3:RPC通信原理及简单案例实现

一、场景介绍

我们知道,Hadoop中存在多种服务,那么,服务之间是如何通信的了?

比如,DN和NN之间如何通信?

这里,实际上是通过RPC实现进程间通信的了。

RPC属于Java网络编程范畴

需要编写客户端和服务端

底层实现是NIO

一般RPC框架的使用,需要配合服务注册中心组件使用。比如zookeeper,nacos

客户端通过zookeeper,拿到服务端的IP、PORT、method等参数

然后,本地实现远程服务调用,就类似调用本地方法一样简洁。

比较成功的RPC框架有:Dubbo、WebSocket、gRPC、OpenFeign

二、案例

1、需求

模拟RPC的客户端、服务端、通信协议三者如何工作的

2、代码

接口RPCProtocol

java 复制代码
package com.atguigu.rpc;

public interface RPCProtocol {
	long versionID = 666;
	void mkdirs(String path);
}

服务端NNServer

java 复制代码
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;

import java.io.IOException;

public class NNServer implements RPCProtocol {
	@Override
	public void mkdirs(String path) {
		System.out.println("服务端,创建路径" + path);
	}

	public static void main(String[] args) throws IOException {

		Server server = new RPC.Builder(new Configuration())
				.setBindAddress("localhost")
				.setPort(8888)
				.setProtocol(RPCProtocol.class)
				.setInstance(new NNServer())
				.build();

		System.out.println("服务器开始工作");

		server.start();
	}
}

客户端HDFSClient

java 复制代码
package com.atguigu.rpc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

import java.io.IOException;
import java.net.InetSocketAddress;

public class HDFSClient {
	public static void main(String[] args) throws IOException {
		RPCProtocol client = RPC.getProxy(
				RPCProtocol.class,
				RPCProtocol.versionID,
				new InetSocketAddress("localhost", 8888),
				new Configuration());

		System.out.println("我是客户端");

		client.mkdirs("/input");
	}
}

3、测试

启动服务端

查看进程

运行客户端

服务端方法被执行

相关推荐
游戏开发爱好者86 分钟前
HTTPS 内容抓取实战 能抓到什么、怎么抓、不可解密时如何定位(面向开发与 iOS 真机排查)
android·网络协议·ios·小程序·https·uni-app·iphone
Black蜡笔小新4 小时前
视频汇聚平台EasyCVR级联播放偶发失败排查:TCP主动模式下的3秒超时响应差
网络·tcp/ip·音视频
Fms_Sa4 小时前
UDP的一次双向通信
网络·网络协议·udp
zzz.105 小时前
top命令的详解
linux·服务器·网络
馨谙5 小时前
网络故障排查三板斧:路由追踪、端口检查,快速定位网络问题
linux·网络
keer_zu6 小时前
一个Modbus-TCP传感器数据传输方案
网络·网络协议·tcp/ip
深度学习实战训练营6 小时前
MemNet:一种用于图像恢复的持久性存储网络
网络·人工智能
TiAmo8086 小时前
ip生产区
服务器·网络·tcp/ip
文火冰糖的硅基工坊8 小时前
[嵌入式系统-146]:五次工业革命对应的机器人形态的演进、主要功能的演进以及操作系统的演进
前端·网络·人工智能·嵌入式硬件·机器人
2301_793167998 小时前
网络基础总结
运维·网络·hcia