LVS集群中的负载均衡技术

胡仁总灌君.2024-08-07 22:02

目录

1、LVS技术原理

2、NAT模式原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、软件安装与启用

3、测试

2、DR模式工作原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、解决vip响应问题

3、测试

3、ipvsadm命令及参数

1.管理集群服务中的增删改

2.管理集群中RealServer的增删改

3、针对集群（负载均衡器）的命令：

4、针对真实服务器的命令：

[5、LVS 技术主要有以下几种调度算法：](#5、LVS 技术主要有以下几种调度算法：)

LVS 技术出现的背景：

随着互联网的迅速发展，网站和网络服务的访问量不断增加。早期，单个服务器很难应对大量的并发请求，容易导致性能下降、响应延迟甚至服务崩溃。

在这种情况下，需要一种有效的方法来实现服务器的负载均衡，以提高系统的整体性能和可用性。

传统的负载均衡方法存在诸多局限性，例如硬件负载均衡设备成本高昂，而且缺乏灵活性和可扩展性。

Linux 操作系统因其开源、稳定、高效等特点在服务器领域得到广泛应用。基于 Linux 开发一种高效、灵活且成本相对较低的负载均衡技术成为了一种迫切的需求。

于是，LVS 技术应运而生，它充分利用了 Linux 系统的内核功能和网络特性，为解决服务器负载均衡问题提供了一种强大而经济有效的解决方案。

1、LVS技术原理

LVS（Linux Virtual Server）技术是一种基于 Linux 操作系统的开源负载均衡技术。

LVS 工作在网络的第四层，即传输层，它通过 IP 负载均衡技术和基于内容请求分发技术来实现对大量网络服务请求的高效分发和处理。

LVS 主要有三种工作模式：

  1. NAT 模式（Network Address Translation）：通过修改请求数据包的目标 IP 地址和目标端口来实现请求的分发。这种模式配置简单，但对 LVS 服务器的性能要求较高，因为所有的请求和响应都要经过 LVS 服务器。 例如，在一个小型企业网络中，如果有多台 Web 服务器提供相同的服务，就可以使用 LVS 的 NAT 模式来均衡访问流量。

  2. DR 模式（Direct Routing）：直接路由模式，请求数据包在通过 LVS 服务器时，LVS 服务器只修改数据包的目的 MAC 地址，然后将数据包直接发送到真实服务器。响应数据包直接由真实服务器返回给客户端，不再经过 LVS 服务器。 比如，在大型电商网站的服务器架构中，为了提高性能和可扩展性，常常采用 DR 模式进行负载均衡。

  3. TUN 模式（IP Tunneling）：IP 隧道模式，LVS 服务器和真实服务器之间通过 IP 隧道进行通信。LVS 服务器将请求数据包封装在新的 IP 数据包中，然后发送到真实服务器，真实服务器解封装后处理请求，并直接将响应返回给客户端。 此种模式适用于服务器分散在不同地域的情况，通过公共网络建立隧道来实现负载均衡。

    LVS 技术具有高可用性、高扩展性和高性能等优点，被广泛应用于大型网站、云计算平台等场景，能够有效地提升系统的整体性能和可靠性。

本文主要介绍常用的NAT模式和DR模式。

VS（Virtual Server）：指的是虚拟服务器，它是由 LVS 负载均衡器所构建的一个逻辑上的服务实体。客户端实际上是向这个虚拟服务器发送请求。 RS（Real Server）：即真实服务器，是实际处理客户端请求并提供服务的服务器节点。 VIP（Virtual IP）：虚拟 IP 地址，是客户端用来访问服务的公共 IP 地址。 DIP（Director IP）：负载均衡器（Director）的 IP 地址，用于与后端真实服务器进行通信。 RIP（Real Server IP）：真实服务器的 IP 地址。 CIP（Client IP）：客户端的 IP 地址。

访问流程:CIP<->VIP== DIP<->RIP

2、NAT模式原理及部署方法

1、工作原理

在 LVS NAT 模式中，存在一个作为负载均衡器的 LVS 服务器和一组后端的真实服务器（Real Server）。 当客户端发送请求到 LVS 服务器时，LVS 服务器接收到请求数据包。 它会修改数据包中的目标 IP 地址和目标端口，将其转换为后端某一台真实服务器的 IP 地址和端口。 然后，LVS 服务器将修改后的数据包转发给选定的真实服务器。 真实服务器处理请求后，将响应数据包发送回 LVS 服务器。 LVS 服务器再对响应数据包进行源 IP 地址和源端口的转换，将其转换为客户端的 IP 地址和端口。 最后，LVS 服务器将响应数据包发送回客户端。

2、部署方法

基于RHEL9系统的环境搭建

RHEL9基础环境配置：

vmset.sh脚本配置

#企业9
[root@localhost mlh]# vim /bin/vmset.sh
#配置内容
#!/bin/bash
rm -fr /etc/NetworkManager/system-connections/$1.nmconnection
cat > /etc/NetworkManager/system-connections/$1.nmconnection <<EOF
[connection]
id=$1
type=ethernet
interface-name=$1

[ipv4]
address1=$2/24,172.25.254.2
method=manual
dns=114.114.114.114;
EOF

chmod 600 /etc/NetworkManager/system-connections/$1.nmconnection
nmcli connection reload
nmcli connection up $1

hostnamectl hostname $3

cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
$2	$3
EOF

前提：一台LVS负载均衡器和两台真实服务器

1、网络配置

LVS一个两个网卡分别为NAT模式和仅主机模式

两台真实服务器仅添加一个仅主机模式网卡

网卡配置：

LVS负载均衡器VS

vmset.sh eth0 172.25.254.100 lvs.mlh.org 

vmset.sh eth1 192.168.0.100 lvs.mlh.org 

nmcli connection reload

nmcli connection up eth0

nmcli connection up eth1

[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

nmcli connection reload
nmcli connection up eth1

由于两个网卡不在同一网络，打开内核路由功能

[root@lvs ~]# sysctl -a | grep ip_forward

[root@lvs ~]# vim /etc/sysctl.conf

[root@lvs ~]# sysctl -p	#配置生效
net.ipv4.ip_forward = 1

真实服务器RS

vmset.sh eth0 192.168.0.10 webserver1.mlh.org 

vmset.sh eth0 192.168.0.20 webserver2.mlh.org 

nmcli connection reload
nmcli connection up eth0

网关设置：

[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0

[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0
2、软件安装与启用

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

[root@lvs ~]# dnf install ipvsadm -y


[root@webserver1 ~]# dnf install httpd
[root@webserver1 ~]# systemctl enable --now httpd

[root@webserver2 ~]# dnf install httpd
[root@webserver2 ~]# systemctl enable --now httpd

第一次安装未存储过/etc/sysconfig/ipvsadm文件，使用systemctl restart ipvsadm.service会报错，systemctl restart ipvsadm.service启动这个服务的作用就是加载ipvsadm文件内容，如果没有/etc/sysconfig/ipvsadm文件或者其中没有有效的配置，服务可能无法正确初始化或找不到所需的配置信息，从而导致报错。

3、测试
[root@webserver1 ~]# echo webserver-192.168.0.10 > /var/www/html/index.html

[root@webserver2 ~]# echo webserver2-192.168.0.20 > /var/www/html/index.html

[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

测试结果：

[root@lvs home]# for i in {1..10}
> do
> curl 172.25.254.100
> done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

保存策略：需要做本地解析

[root@lvs home]# ipvsadm-save > /etc/sysconfig/ipvsadm

2、DR模式工作原理及部署方法

1、工作原理

在 LVS DR 模式中，同样存在负载均衡器（LVS 服务器）和后端的真实服务器（Real Server）。 当客户端发送请求到负载均衡器时，负载均衡器根据调度算法选择一台合适的真实服务器。 与 NAT 模式不同的是，负载均衡器不会修改请求数据包的目标 IP 地址，而是仅仅修改目标 MAC 地址为所选真实服务器的 MAC 地址。 然后，数据包直接通过交换机被转发到真实服务器。 真实服务器接收到请求后，直接处理请求，并将响应数据包直接返回给客户端，而不再经过负载均衡器。

2、部署方法

基于RHEL9系统的环境搭建

在NAT模式环境基础上增删配置，新增客户和路由两台主机

1、网络配置

LVS配置

删除之前网卡，设置新网卡为仅主机模式

vmset.sh eth0 192.168.0.50 lvs.mlh.org

[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.50/24,192.168.0.100
method=manual
[root@lvs ~]# ip a a 192.168.0.200/32 dev lo
[root@lvs ~]# nmcli connection reload 
[root@lvs ~]# nmcli connection up eth0

路由主机配置

vmset.sh eth1 192.168.0.100 router.mlh.org

vmset.sh eth0 172.25.254.100 router.mlh.org

[root@router ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

[root@router ~]# nmcli connection reload 
[root@router ~]# nmcli connection up eth1
[root@router ~]# nmcli connection up eth0

由于两个网卡不在同一网络，打开内核路由功能

[root@router ~]# vim /etc/sysctl.conf 
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1

client客户端配置

vmset.sh eth0 172.25.254.200 client.mlh.org
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual

[root@client ~]# nmcli connection reload 
[root@client ~]# nmcli connection up eth0

RS设备vip配置

[root@webserver1 ~]# ip a a 192.168.0.200/32 dev lo

[root@webserver2 ~]# ip a a 192.168.0.200/32 dev lo

网络测试：

2、解决vip响应问题

在 LVS 的 DR 模式中，VIP 的响应存在一些需要特别注意的问题。首先，在 DR 模式下，真实服务器（RS）需要直接响应客户端的请求。为了实现这一点，RS 上需要配置 VIP 地址。但由于网络规则的限制，同一个网络段内不能存在相同的 IP 地址，这就可能导致网络冲突。 为了避免冲突，RS 上配置的 VIP 地址不能对外广播，通常是通过修改内核参数或者使用一些特殊的网络配置技巧来实现。 另外，当 RS 响应客户端请求时，源 IP 地址应该是 VIP 地址。然而，如果 RS 没有正确配置，可能会使用其真实的 IP 地址作为源 IP 进行响应，这会导致客户端无法正确接收响应，因为客户端发送请求的目标是 VIP 。

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：

(1)在前端网关做静态绑定

(2)在各RS使用arptables

(3)在各RS修改内核参数，来限制arp响应和通告的级别

限制响应级别:arp_ignore

0:默认值，表示可使用本地任意接口上配置的任意地址进行响应

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应限制通告级别:arp_announce

0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告

1:尽量避免将接口信息向非直接连接网络进行通告

2:必须避免将接口信息向非本网络进行通告

在Real Server上做配置使rs主机vip不对外响应：

[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#重启后不生效
3、测试

在lvs主机上做策略如下：

[root@client ~]# for i in {1..20}; do curl 192.168.0.200; done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

3、ipvsadm命令及参数

1.管理集群服务中的增删改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记，是一个数字

2.管理集群中RealServer的增删改

-a      #添加realserver-e      #更改realserver-t      #tcp协议

-u      #udp协议

-f      #火墙 标签

-r      #realserver地址-g      #直连路由模式

-i      #ipip隧道模式

-m     #nat模式

-w     #设定权重

-Z     #清空计数器

-C     #清空lvs策略

-L     #查看lvs策略

-n     #不做解析

--rate ：输出速率信息

3、针对集群（负载均衡器）的命令：

ipvsadm -A -t <VIP>:<Port>：添加一个新的基于 TCP 协议的虚拟服务。 ipvsadm -E -t <VIP>:<Port>：修改已存在的基于 TCP 协议的虚拟服务。 ipvsadm -D -t <VIP>:<Port>：删除一个基于 TCP 协议的虚拟服务。

4、针对真实服务器的命令：

ipvsadm -a -t <VIP>:<Port> -r <RIP>:<Port> -m：在指定的虚拟服务中添加一个真实服务器，使用 NAT 模式。 ipvsadm -e -t <VIP>:<Port> -r <RIP>:<Port>：修改已添加的真实服务器的配置。 ipvsadm -d -t <VIP>:<Port> -r <RIP>:<Port>：从指定的虚拟服务中删除一个真实服务器。

5、LVS 技术主要有以下几种调度算法：

  • 轮询（Round Robin，RR）：将请求依次分配给各个真实服务器，依次循环。例如：有服务器 R1、R2、R3，第一个请求分配给 R1，第二个请求分配给 R2，第三个请求分配给 R3，然后再从 R1 开始循环。
  • 加权轮询（Weighted Round Robin，WRR）：根据真实服务器的权值比例分配请求。权值越高，分配到的请求越多。比如：R1 的权值为 2，R2 的权值为 3，R3 的权值为 5。那么在 10 个请求中，大约 2 个分配给 R1，3 个分配给 R2，5 个分配给 R3。
  • 最少连接（Least Connections，LC）：将新请求分配给当前连接数最少的真实服务器。假设 R1 当前有 5 个连接，R2 有 3 个连接，R3 有 2 个连接，新请求会分配给 R3。
  • 加权最少连接（Weighted Least Connections，WLC）：在最少连接的基础上，考虑真实服务器的权值。例如：R1 权值为 2，当前连接数为 5；R2 权值为 3，当前连接数为 3；R3 权值为 5，当前连接数为 2。计算加权连接数，R1 为 5/2 = 2.5，R2 为 3/3 = 1，R3 为 2/5 = 0.4，新请求分配给 R3。
  • 基于局部性的最少连接（Locality-Based Least Connections，LBLC）：主要考虑请求的目标 IP 地址的相似性和服务器的连接数。
  • 带复制的基于局部性最少连接（Locality-Based Least Connections with Replication，LBLCR）：结合了复制技术和基于局部性的最少连接算法。
相关推荐
duration～5 分钟前
Kafka API操作
分布式·kafka
椰椰椰耶2 小时前
【Linux】常用的命令
linux·运维·服务器
xiaojiesec3 小时前
第145天：内网安全-Linux权限维持&Rootkit后门&Strace监控&Alias别名&Cron定时任务
linux·运维·安全
安全在心中4 小时前
python-网页自动化（三）
运维·python·自动化
Slow4 小时前
自动化焊缝定义程序fe-safe
运维·python·自动化
爱吃龙利鱼4 小时前
web群集--nginx常见的几种负载均衡调度算法的配置过程和效果展示
运维·算法·nginx·云原生·负载均衡
冰 河6 小时前
《Nginx核心技术》第16章：实现Nginx的高可用负载均衡
运维·nginx·程序员·负载均衡·高可用
沐风ya7 小时前
NAT技术介绍+缺陷(内网穿透+工具),NAPT(介绍,替换过程,原理,NAT转换表)
linux·服务器·网络
天启代理ip8 小时前
HTTP隧道代理：互联网冲浪的隐形翅膀
服务器·网络·爬虫·网络协议·tcp/ip
爱打lan球的程序员8 小时前
redis分布式锁和lua脚本
数据库·redis·分布式
热门推荐
0151-2 万字长文，深度解读端到端自动驾驶的挑战和前沿022024年高教社杯数学建模国赛C题超详细解题思路分析03【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提04RAG 实践- Ollama+RagFlow 部署本地知识库05【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文062024 高教社杯 数学建模国赛 （A题）深度剖析|“板凳龙” 闹元宵|数学建模完整代码+建模过程全解全析07Coze扣子平台完整体验和实践（附国内和国际版对比）082024年高教杯国赛（C题）数学建模竞赛解题思路|完整代码论文集合092024 年高教社杯全国大学生数学建模竞赛题目-A 题 “板凳龙” 闹元宵10【SCS-CN】SCS-CN模型中CN值的确定