RPC框架负载均衡

什么是负载均衡?

当一个服务节点无法支撑现有的访问量时,会部署多个节点,组成一个集群,然后通过负载均衡将请求分发给这个集群下的每个服务节点,从而达到多个服务节点共同分担请求压力的目的

负载均衡主要分为软负载硬负载 ,软负载就是在一台或多台服务器上安装负载均衡的软件,如LVS、Nginx 等,硬负载就是通过硬件设备来实现的负载均衡,如F5服务器 等。负载均衡的算法主要有随机法、轮询法、最小连接法等。

这种负载均衡主要应用在Web服务上,Web服务的域名绑定负载均衡的地址,通过负载均衡将用户的请求分发到一个个后端服务上。

RPC框架中的负载均衡

RPC负载均衡完全由RPC框架自身实现 ,RPC的服务调用者会与"注册中心"下发的所有服务节点建立长连接,在每次发起RPC调用时,服务调用者都会通过配置的负载均衡插件,自主选择一个服务节点,发起RPC调用请求。

RPC负载均衡策略一般包括随机权重、Hash、轮询

轮询算法:保证每个节点接收到的请求流量是均匀的。

权重算法:通过控制节点权重的方式,来进行流量控制。

如何设计自适应的负载均衡?

调用者知道每个服务节点处理请求的能力,再根据服务处理节点处理请求的能力来判断要打给它多少流量即可。

如何判定一个服务节点的处理能力

打分策略。服务调用者收集与之建立长连接的每个服务节点的指标数据,如服务节点的负载指标、CPU核数、内存大小、请求处理的耗时指标(如请求平均耗时、TP99、TP999)、服务节点的状态指标(如正常、亚健康)。

通过这些指标,计算分数,根据分数设置机器权重,动态调整机器流量。

关键步骤解释:

  1. 添加服务指标收集器,并将其作为插件,默认有运行时状态指标收集器、请求耗时指标收集器。
  2. 运行时状态指标收集器收集服务节点CPU核数、CPU负载以及内存等指标,在服务调用者与服务提供者的心跳数据中获取。
  3. 请求耗时指标收集器收集请求耗时数据,如平均耗时、TP99、TP999等。
  4. 可以配置开启哪些指标收集器,并设置这些参考指标的指标权重,再根据指标数据和指标权重来综合打分。
  5. 通过服务节点的综合打分与节点的权重,最终计算出节点的最终权重,之后服务调用者会根据随机权重的策略,来选择服务节点。

RPC框架负载均衡优点

RPC框架的负载均衡,由RPC框架自身实现,无需负载均衡设备或者负载均衡服务器来实现负载均衡。

可以节约成本;还减少了与负载均衡设备间额外的网络传输,提升了传输效率;并且均衡策略可配,便于服务治理。

相关推荐
CCPC不拿奖不改名10 分钟前
网络与API:从HTTP协议视角理解网络分层原理+面试习题
开发语言·网络·python·网络协议·学习·http·面试
liulilittle36 分钟前
OPENPPP2 网络驱动模式
开发语言·网络·c++·网络协议·信息与通信·通信
tzy23339 分钟前
分享一个 HTTP(S) 代理&抓包工具,拦截和Mock Web客户端请求和服务端响应
前端·网络协议·http
CodeCaptain1 小时前
配置Nginx反向代理来实现负载均衡,续阿里云ECS配置Nginx反向代理
nginx·阿里云·负载均衡
小李独爱秋1 小时前
计算机网络经典问题透视:MD5报文是什么?有什么特点?
网络·网络协议·计算机网络·网络安全·信息与通信·信号处理
Tao____2 小时前
如何对接Modbus-tcp协议(使用Thinlinks物联网平台)
java·物联网·网络协议·tcp/ip·modbus
利刃大大2 小时前
【RabbitMQ】Simple模式 && 工作队列 && 发布/订阅模式 && 路由模式 && 通配符模式 && RPC模式 && 发布确认机制
rpc·消息队列·rabbitmq·队列
callJJ2 小时前
WebSocket 两种实现方式对比与入门
java·python·websocket·网络协议·stomp
汤愈韬15 小时前
NAT策略
网络协议·网络安全·security·huawei
汤愈韬15 小时前
Full Cone Nat
网络·网络协议·网络安全·security·huawei