LVS集群中的负载均衡技术

胡仁总灌君.2024-08-07 22:02

目录

1、LVS技术原理

2、NAT模式原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、软件安装与启用

3、测试

2、DR模式工作原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、解决vip响应问题

3、测试

3、ipvsadm命令及参数

1.管理集群服务中的增删改

2.管理集群中RealServer的增删改

3、针对集群（负载均衡器）的命令：

4、针对真实服务器的命令：

[5、LVS 技术主要有以下几种调度算法：](#5、LVS 技术主要有以下几种调度算法：)

LVS 技术出现的背景：

随着互联网的迅速发展，网站和网络服务的访问量不断增加。早期，单个服务器很难应对大量的并发请求，容易导致性能下降、响应延迟甚至服务崩溃。

在这种情况下，需要一种有效的方法来实现服务器的负载均衡，以提高系统的整体性能和可用性。

传统的负载均衡方法存在诸多局限性，例如硬件负载均衡设备成本高昂，而且缺乏灵活性和可扩展性。

Linux 操作系统因其开源、稳定、高效等特点在服务器领域得到广泛应用。基于 Linux 开发一种高效、灵活且成本相对较低的负载均衡技术成为了一种迫切的需求。

于是，LVS 技术应运而生，它充分利用了 Linux 系统的内核功能和网络特性，为解决服务器负载均衡问题提供了一种强大而经济有效的解决方案。

1、LVS技术原理

LVS（Linux Virtual Server）技术是一种基于 Linux 操作系统的开源负载均衡技术。

LVS 工作在网络的第四层，即传输层，它通过 IP 负载均衡技术和基于内容请求分发技术来实现对大量网络服务请求的高效分发和处理。

LVS 主要有三种工作模式：

  1. NAT 模式（Network Address Translation）：通过修改请求数据包的目标 IP 地址和目标端口来实现请求的分发。这种模式配置简单，但对 LVS 服务器的性能要求较高，因为所有的请求和响应都要经过 LVS 服务器。 例如，在一个小型企业网络中，如果有多台 Web 服务器提供相同的服务，就可以使用 LVS 的 NAT 模式来均衡访问流量。

  2. DR 模式（Direct Routing）：直接路由模式，请求数据包在通过 LVS 服务器时，LVS 服务器只修改数据包的目的 MAC 地址，然后将数据包直接发送到真实服务器。响应数据包直接由真实服务器返回给客户端，不再经过 LVS 服务器。 比如，在大型电商网站的服务器架构中，为了提高性能和可扩展性，常常采用 DR 模式进行负载均衡。

  3. TUN 模式（IP Tunneling）：IP 隧道模式，LVS 服务器和真实服务器之间通过 IP 隧道进行通信。LVS 服务器将请求数据包封装在新的 IP 数据包中，然后发送到真实服务器，真实服务器解封装后处理请求，并直接将响应返回给客户端。 此种模式适用于服务器分散在不同地域的情况，通过公共网络建立隧道来实现负载均衡。

    LVS 技术具有高可用性、高扩展性和高性能等优点，被广泛应用于大型网站、云计算平台等场景，能够有效地提升系统的整体性能和可靠性。

本文主要介绍常用的NAT模式和DR模式。

VS（Virtual Server）：指的是虚拟服务器，它是由 LVS 负载均衡器所构建的一个逻辑上的服务实体。客户端实际上是向这个虚拟服务器发送请求。 RS（Real Server）：即真实服务器，是实际处理客户端请求并提供服务的服务器节点。 VIP（Virtual IP）：虚拟 IP 地址，是客户端用来访问服务的公共 IP 地址。 DIP（Director IP）：负载均衡器（Director）的 IP 地址，用于与后端真实服务器进行通信。 RIP（Real Server IP）：真实服务器的 IP 地址。 CIP（Client IP）：客户端的 IP 地址。

访问流程:CIP<->VIP== DIP<->RIP

2、NAT模式原理及部署方法

1、工作原理

在 LVS NAT 模式中，存在一个作为负载均衡器的 LVS 服务器和一组后端的真实服务器（Real Server）。 当客户端发送请求到 LVS 服务器时，LVS 服务器接收到请求数据包。 它会修改数据包中的目标 IP 地址和目标端口，将其转换为后端某一台真实服务器的 IP 地址和端口。 然后，LVS 服务器将修改后的数据包转发给选定的真实服务器。 真实服务器处理请求后，将响应数据包发送回 LVS 服务器。 LVS 服务器再对响应数据包进行源 IP 地址和源端口的转换，将其转换为客户端的 IP 地址和端口。 最后，LVS 服务器将响应数据包发送回客户端。

2、部署方法

基于RHEL9系统的环境搭建

RHEL9基础环境配置：

vmset.sh脚本配置

#企业9
[root@localhost mlh]# vim /bin/vmset.sh
#配置内容
#!/bin/bash
rm -fr /etc/NetworkManager/system-connections/$1.nmconnection
cat > /etc/NetworkManager/system-connections/$1.nmconnection <<EOF
[connection]
id=$1
type=ethernet
interface-name=$1

[ipv4]
address1=$2/24,172.25.254.2
method=manual
dns=114.114.114.114;
EOF

chmod 600 /etc/NetworkManager/system-connections/$1.nmconnection
nmcli connection reload
nmcli connection up $1

hostnamectl hostname $3

cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
$2	$3
EOF

前提：一台LVS负载均衡器和两台真实服务器

1、网络配置

LVS一个两个网卡分别为NAT模式和仅主机模式

两台真实服务器仅添加一个仅主机模式网卡

网卡配置：

LVS负载均衡器VS

vmset.sh eth0 172.25.254.100 lvs.mlh.org 

vmset.sh eth1 192.168.0.100 lvs.mlh.org 

nmcli connection reload

nmcli connection up eth0

nmcli connection up eth1

[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

nmcli connection reload
nmcli connection up eth1

由于两个网卡不在同一网络，打开内核路由功能

[root@lvs ~]# sysctl -a | grep ip_forward

[root@lvs ~]# vim /etc/sysctl.conf

[root@lvs ~]# sysctl -p	#配置生效
net.ipv4.ip_forward = 1

真实服务器RS

vmset.sh eth0 192.168.0.10 webserver1.mlh.org 

vmset.sh eth0 192.168.0.20 webserver2.mlh.org 

nmcli connection reload
nmcli connection up eth0

网关设置：

[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0

[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0
2、软件安装与启用

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

[root@lvs ~]# dnf install ipvsadm -y


[root@webserver1 ~]# dnf install httpd
[root@webserver1 ~]# systemctl enable --now httpd

[root@webserver2 ~]# dnf install httpd
[root@webserver2 ~]# systemctl enable --now httpd

第一次安装未存储过/etc/sysconfig/ipvsadm文件，使用systemctl restart ipvsadm.service会报错，systemctl restart ipvsadm.service启动这个服务的作用就是加载ipvsadm文件内容，如果没有/etc/sysconfig/ipvsadm文件或者其中没有有效的配置，服务可能无法正确初始化或找不到所需的配置信息，从而导致报错。

3、测试
[root@webserver1 ~]# echo webserver-192.168.0.10 > /var/www/html/index.html

[root@webserver2 ~]# echo webserver2-192.168.0.20 > /var/www/html/index.html

[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

测试结果：

[root@lvs home]# for i in {1..10}
> do
> curl 172.25.254.100
> done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

保存策略：需要做本地解析

[root@lvs home]# ipvsadm-save > /etc/sysconfig/ipvsadm

2、DR模式工作原理及部署方法

1、工作原理

在 LVS DR 模式中，同样存在负载均衡器（LVS 服务器）和后端的真实服务器（Real Server）。 当客户端发送请求到负载均衡器时，负载均衡器根据调度算法选择一台合适的真实服务器。 与 NAT 模式不同的是，负载均衡器不会修改请求数据包的目标 IP 地址，而是仅仅修改目标 MAC 地址为所选真实服务器的 MAC 地址。 然后，数据包直接通过交换机被转发到真实服务器。 真实服务器接收到请求后，直接处理请求，并将响应数据包直接返回给客户端，而不再经过负载均衡器。

2、部署方法

基于RHEL9系统的环境搭建

在NAT模式环境基础上增删配置，新增客户和路由两台主机

1、网络配置

LVS配置

删除之前网卡，设置新网卡为仅主机模式

vmset.sh eth0 192.168.0.50 lvs.mlh.org

[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.50/24,192.168.0.100
method=manual
[root@lvs ~]# ip a a 192.168.0.200/32 dev lo
[root@lvs ~]# nmcli connection reload 
[root@lvs ~]# nmcli connection up eth0

路由主机配置

vmset.sh eth1 192.168.0.100 router.mlh.org

vmset.sh eth0 172.25.254.100 router.mlh.org

[root@router ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

[root@router ~]# nmcli connection reload 
[root@router ~]# nmcli connection up eth1
[root@router ~]# nmcli connection up eth0

由于两个网卡不在同一网络，打开内核路由功能

[root@router ~]# vim /etc/sysctl.conf 
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1

client客户端配置

vmset.sh eth0 172.25.254.200 client.mlh.org
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual

[root@client ~]# nmcli connection reload 
[root@client ~]# nmcli connection up eth0

RS设备vip配置

[root@webserver1 ~]# ip a a 192.168.0.200/32 dev lo

[root@webserver2 ~]# ip a a 192.168.0.200/32 dev lo

网络测试：

2、解决vip响应问题

在 LVS 的 DR 模式中，VIP 的响应存在一些需要特别注意的问题。首先，在 DR 模式下，真实服务器（RS）需要直接响应客户端的请求。为了实现这一点，RS 上需要配置 VIP 地址。但由于网络规则的限制，同一个网络段内不能存在相同的 IP 地址，这就可能导致网络冲突。 为了避免冲突，RS 上配置的 VIP 地址不能对外广播，通常是通过修改内核参数或者使用一些特殊的网络配置技巧来实现。 另外，当 RS 响应客户端请求时，源 IP 地址应该是 VIP 地址。然而，如果 RS 没有正确配置，可能会使用其真实的 IP 地址作为源 IP 进行响应，这会导致客户端无法正确接收响应，因为客户端发送请求的目标是 VIP 。

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：

(1)在前端网关做静态绑定

(2)在各RS使用arptables

(3)在各RS修改内核参数，来限制arp响应和通告的级别

限制响应级别:arp_ignore

0:默认值，表示可使用本地任意接口上配置的任意地址进行响应

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应限制通告级别:arp_announce

0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告

1:尽量避免将接口信息向非直接连接网络进行通告

2:必须避免将接口信息向非本网络进行通告

在Real Server上做配置使rs主机vip不对外响应：

[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#重启后不生效
3、测试

在lvs主机上做策略如下：

[root@client ~]# for i in {1..20}; do curl 192.168.0.200; done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

3、ipvsadm命令及参数

1.管理集群服务中的增删改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记，是一个数字

2.管理集群中RealServer的增删改

-a      #添加realserver-e      #更改realserver-t      #tcp协议

-u      #udp协议

-f      #火墙 标签

-r      #realserver地址-g      #直连路由模式

-i      #ipip隧道模式

-m     #nat模式

-w     #设定权重

-Z     #清空计数器

-C     #清空lvs策略

-L     #查看lvs策略

-n     #不做解析

--rate ：输出速率信息

3、针对集群（负载均衡器）的命令：

ipvsadm -A -t <VIP>:<Port>：添加一个新的基于 TCP 协议的虚拟服务。 ipvsadm -E -t <VIP>:<Port>：修改已存在的基于 TCP 协议的虚拟服务。 ipvsadm -D -t <VIP>:<Port>：删除一个基于 TCP 协议的虚拟服务。

4、针对真实服务器的命令：

ipvsadm -a -t <VIP>:<Port> -r <RIP>:<Port> -m：在指定的虚拟服务中添加一个真实服务器，使用 NAT 模式。 ipvsadm -e -t <VIP>:<Port> -r <RIP>:<Port>：修改已添加的真实服务器的配置。 ipvsadm -d -t <VIP>:<Port> -r <RIP>:<Port>：从指定的虚拟服务中删除一个真实服务器。

5、LVS 技术主要有以下几种调度算法：

  • 轮询（Round Robin，RR）：将请求依次分配给各个真实服务器，依次循环。例如：有服务器 R1、R2、R3，第一个请求分配给 R1，第二个请求分配给 R2，第三个请求分配给 R3，然后再从 R1 开始循环。
  • 加权轮询（Weighted Round Robin，WRR）：根据真实服务器的权值比例分配请求。权值越高，分配到的请求越多。比如：R1 的权值为 2，R2 的权值为 3，R3 的权值为 5。那么在 10 个请求中，大约 2 个分配给 R1，3 个分配给 R2，5 个分配给 R3。
  • 最少连接（Least Connections，LC）：将新请求分配给当前连接数最少的真实服务器。假设 R1 当前有 5 个连接，R2 有 3 个连接，R3 有 2 个连接，新请求会分配给 R3。
  • 加权最少连接（Weighted Least Connections，WLC）：在最少连接的基础上，考虑真实服务器的权值。例如：R1 权值为 2，当前连接数为 5；R2 权值为 3，当前连接数为 3；R3 权值为 5，当前连接数为 2。计算加权连接数，R1 为 5/2 = 2.5，R2 为 3/3 = 1，R3 为 2/5 = 0.4，新请求分配给 R3。
  • 基于局部性的最少连接（Locality-Based Least Connections，LBLC）：主要考虑请求的目标 IP 地址的相似性和服务器的连接数。
  • 带复制的基于局部性最少连接（Locality-Based Least Connections with Replication，LBLCR）：结合了复制技术和基于局部性的最少连接算法。
相关推荐
IT机器猫5 分钟前
Docker完整技术汇总
运维·docker·容器
无所不在的物质9 分钟前
Jenkins基础教程
运维·云原生·自动化·jenkins
一休哥助手26 分钟前
全面解析 Linux 系统监控与性能优化
linux·运维·性能优化
LI JS@你猜啊39 分钟前
Elasticsearch 集群
大数据·服务器·elasticsearch
watl01 小时前
【Android】unzip aar删除冲突classes再zip
android·linux·运维
团儿.1 小时前
Docker服务发现新纪元：探索Consul的无限魅力
运维·docker·云计算·服务发现·consul
赵大仁1 小时前
在 CentOS 7 上安装 Node.js 20 并升级 GCC、make 和 glibc
linux·运维·服务器·ide·ubuntu·centos·计算机基础
vvw&1 小时前
Docker Build 命令详解：在 Ubuntu 上构建 Docker 镜像教程
linux·运维·服务器·ubuntu·docker·容器·开源
李白你好2 小时前
家用无线路由器的 2.4GHz 和 5GHz
运维·网络
苹果醋32 小时前
React系列（八）——React进阶知识点拓展
运维·vue.js·spring boot·nginx·课程设计
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）