一、LVS负载均衡简介
1.1 LVS基本介绍
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导开发的开源负载均衡项目，目前LVS已经被集成在Linux内核中。该项目在Linux内核中实现了基于IP地址的请求数据负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS，LVS根据自己预设的算法将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器。终端用户访问LVS虽然会被转发到后端的真实服务器，但如果真实服务器连接的是相同的存储，提供的也都是相同的服务，则最终用户不管访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言是透明的。根据LVS工作模式的不同，真实服务器会选择用不同的方式将数据发送给终端用户，LVS工作模式分为NAT工作模式、TUN工作模式和DR工作模式。
1.2 基于NAT的LVS负载均衡
NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使位于企业内部的私有IP地址主机可以访问外网，以及外部用户可以访问位于公司内部的私有IP地址主机。NAT工作模式拓扑结构如图所示，LVS使用两块网卡配置不同的IP地址，eno167被设置为私钥IP地址与内部网络通过交换设备相互连接，eno335被设置为外网IP地址与外部网络连通。 第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网IP地址，相对于真实服务器，LVS的外网IP地址又称为VIP（Virtual IP）地址，用户通过访问VIP地址，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是无感知的，用户以为自己访问的就是真实的服务器，但他并不知道自己访问的VIP地址仅仅是一个LVS，也不清楚后端的真实服务器到底在哪里、有多少台真实服务器。 第二步，用户将请求数据包发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1～192.168.0.3），将请求数据包转发给真实服务器，并且在转发之前LVS会修改请求数据包中的目标地址与目标端口，目标地址与目标端口将被修改为选出的真实服务器的IP地址及相应的端口。 第三步，真实服务器将响应数据包返回给LVS，LVS在得到响应数据包后会将源地址与源端口修改为VIP地址及LVS相应的端口，在修改完成后，由LVS将响应数据包发送给终端用户。另外，由于LVS有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个请求数据包发送给LVS时，从该Hash表中可以直接找到之前的连接记录，并根据该记录选出相同的真实服务器及端口信息。
1.3 基于TUN的LVS负载均衡
在NAT工作模式的集群环境中，由于所有请求数据包及响应数据包都需要经过LVS转发，如果后端服务器的数量大于10台，则LVS就会成为整个集群环境的瓶颈。我们知道，请求数据包往往远远小于响应数据包的大小。因为响应数据包中包含客户需要的具体数据，所以TUN工作模式的思路就是将请求数据包与响应数据包分离，让LVS仅处理请求数据包，而让真实服务器将响应数据包直接返回给客户端。TUN工作模式的拓扑结构如图所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为LVS VIP地址的数据包封装，通过隧道转发给后端的真实服务器，通过将客户端发往LVS的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为LVS选择出来的真实服务器的IP地址及对应端口），TUN工作模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据包。
1.4 基于DR的LVS负载均衡
在TUN工作模式下，由于需要在LVS与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与TUN工作模式类似，DR工作模式也叫直接路由模式，其体系结构如图所示。在该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包返回给客户端。与TUN工作模式不同的是，DR工作模式要求LVS与后端服务器必须在一个局域网内，VIP地址需要在LVS与后端所有服务器间共享，因为最终的真实服务器给客户端返回数据包时需要设置源IP地址为VIP地址，目标IP地址为客户端IP地址，这样客户端访问的是LVS的VIP地址，返回的源地址也依然是该VIP地址（真实服务器上的VIP地址），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同一个VIP地址，所以在DR工作模式中要求LVS的VIP地址是对外界可见的，客户端需要将请求数据包发送到LVS主机，而所有真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC地址及对应的IP地址，真实服务器的VIP地址对外界是不可见的，但真实服务器却可以接收目标地址为VIP地址的网络请求，并在响应数据包时将源地址设置为该VIP地址。LVS根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的服务器的MAC地址，通过交换机将该数据帧转发给真实服务器。在整个过程中，真实服务器的VIP地址不需要对外界可见。
1.5 LVS负载均衡调度算法
LVS进行调度的策略与算法都是LVS的核心技术，LVS在内核中主要实现了以下八种调度算法。
◎ 轮询算法。
◎ 加权轮询算法。
◎ 最少连接算法。
◎ 加权最少连接算法。
◎ 基于局部性的最少连接算法。
◎ 带复制的基于局部性的最少连接算法。
◎ 目标地址散列算法。
◎ 源地址散列算法。
轮询（Round-Robin，RR）算法就是依次将请求调度到不同的服务器上，该算法最大的特点就是实现简单。轮询算法假设所有服务器处理请求的能力都是一样的，LVS会将所有请求平均分配给每个真实服务器。
加权轮询（Weighted Round Robin，WRR）算法主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则LVS调度到服务器B的请求会是服务器A的两倍。权值越高的服务器，处理的请求越多。
最少连接（Least Connections，LC）算法将把请求调度到连接数量最少的服务器上
加权最少连接 （Weighted Least-Connection，WLC）算法则是给每个服务器一个权值，LVS会尽可能保持服务器连接数量与权值之间的平衡。
基于局部性的最少连接（Locality-Based Least Connections，LBLC）算法是请求数据包的目标IP地址的一种调度算法，该算法先根据请求的目标IP地址寻找最近该目标IP地址所使用的服务器，如果这台服务器依然可用，并且有能力处理该请求，则LVS会尽量选择相同的服务器，否则会继续选择其他可行的服务器。
带复制的基于局部性的最少连接（LBLCR）算法记录的不是一个目标IP地址与一台服务器之间连接记录，它会维护一个目标IP地址到一组服务器之间的映射关系，防止单点服务器负载过高。
目标地址散列（Destination Hashing，DH）算法根据目标IP地址通过Hash函数将目标IP地址与服务器建立映射关系，在服务器不可用或负载过高的情况下，发往该目标IP地址的请求会固定发给该服务器。
源地址散列（Source Hashing，SH）算法与目标地址散列算法类似，但它根据源地址散列算法静态分配固定的服务器资源。
1.6 LVS配置管理工具ipvsadm介绍
ipvsadm命令的描述和用法如下：
用法：ipvsadm 选项 服务器地址 -s 算法
ipvsadm 选项 服务器地址 -r 真实服务器地址 ［工作模式］ ［权值］ ...
选项：
-A 添加一个虚拟服务，使用IP地址、端口号、协议来唯一定义一个虚拟服务。
-E 编辑一个虚拟服务。
-D 删除一个虚拟服务。
-C 清空虚拟服务表。
-R 从标准输入中还原虚拟服务规则。
-S 保存虚拟服务规则至标准输出，输出的规则可以使用-R导入并还原。
-a 在虚拟服务中添加一台真实服务器。
-e 在虚拟服务中编辑一台真实服务器。
-d 在虚拟服务中减少一台真实服务器。
-L 显示虚拟服务列表。
-t 使用TCP服务，该参数后需要带主机与端口信息。
-u 使用UDP服务，该参数后需要带主机与端口信息。
-s 指定LVS所采用的调度算法。
-r 设置真实服务器IP地址与端口信息。
-g 设置LVS工作模式为DR工作模式。
-i 设置LVS工作模式为TUN工作模式。
-m 设置LVS工作模式为NAT工作模式。
-w 设置指定服务器的权值。
-c 连接状态，需要配合-L使用。
-n 数字格式输出。
命令示例如下：
添加一个虚拟服务，设置调度算法为轮询算法，所有使用TCP访问124.126.147.168的80端口的请求，最终都被LVS通过NAT工作模式转发给了192.168.0.1、192.168.0.2、192.168.0.3这三台主机的80端口。
查看Linux中的虚拟服务规则表。
查看当前IPVS调度状态。
删除为虚拟服务提供Web功能的真实服务器192.168.0.3。
虚拟服务规则表的备份与还原。
修改虚拟服务的调度算法为加权轮询算法。
创建一个使用WRR算法的虚拟服务，工作模式为DR工作模式，在该虚拟服务上添加两台真实服务器，并为每台真实服务器设置权值。
二、LVS 负载均衡+高可用 部署搭建（DR模式）
2.1 拓扑结果图
2.2 节点环境介绍
| 类型 | 主机名 | RIP | DIP | VIP | 应用 |
|---|---|---|---|---|---|
| real_server | nginx01 | 172.16.40.151 | 172.16.40.160 | nginx | |
| real_server | nginx02 | 172.16.40.152 | 172.16.40.160 | nginx | |
| lvs_master | lvs01 | 172.16.40.153 | 172.16.40.160 | lvs+keepalived | |
| lvs_backup | lvs02 | 172.16.40.154 | 172.16.40.160 | lvs+keepalived | |
| client | ittools | 172.16.40.250 |
所有节点关闭防火墙及安全中心。
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2.3 配置LVS虚拟节点（2台一样）
对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能。
编辑 /etc/sysctl.conf 文件，添加以下内容。
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens192.send_redirects = 0 # ens192为本机物理网卡名称，可根据实际情况修改
下面是每个参数的具体含义：
-
net.ipv4.ip_forward = 0这个参数用于控制 Linux 系统是否能够转发 IP 数据包。当设置为
1时，系统会被配置为路由器，可以转发从一路由接口接收的数据包到另一个路由接口。当设置为0时，系统不会转发数据包，只处理发往本机地址的数据包。在您提供的配置中，这个参数被设置为0，意味着关闭了 IP 转发功能。 -
net.ipv4.conf.all.send_redirects = 0这个参数控制是否允许系统向其他主机发送 ICMP 重定向消息。ICMP 重定向消息用于通知主机有更优的路由到达目标。当设置为
1时，系统会发送 ICMP 重定向消息。设置为0时，系统不会发送这些重定向消息。在这里，它被设置为0，意味着系统不会向其他主机发送 ICMP 重定向。 -
net.ipv4.conf.default.send_redirects = 0类似于
net.ipv4.conf.all.send_redirects，这个参数也是用来控制 ICMP 重定向消息的发送。不过，它是一个默认设置，可以被特定网络接口的设置覆盖。在这里，它也被设置为0，意味着对于默认的网络接口，系统不会发送 ICMP 重定向。 -
net.ipv4.conf.ens192.send_redirects = 0这个参数是特定于网络接口
ens192的设置，用于控制是否允许向连接到ens192网络接口的主机发送 ICMP 重定向消息。在这里，它被设置为0，意味着对于ens192接口，系统不会发送 ICMP 重定向。
这些设置通常用于关闭不必要的 ICMP 重定向消息和 IP 转发功能，这在某些网络环境中是出于安全考虑的。例如，在不需要服务器进行路由转发的情况下，关闭 IP 转发可以减少潜在的路由错误和安全风险。同样，关闭 ICMP 重定向可以防止不必要的网络流量和潜在的路由错误。
sysctl -p # 激活配置
2.4 安装ipvsadm（2台一样）
yum install ipvsadm -y
2.5 安装并配置Keepalived
yum install keepalived -y
编辑 LVS01 节点的 /etc/keepalived/keepalived.conf 文件，添加以下内容。
global_defs {
router_id LVS_01 # 指定路由名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
}
vrrp_instance VI_1 { # 指定虚拟网卡名称，主备一样
state MASTER # 指定热备状态，主为MASTER，备为BACKUP
interface ens192 # 指定实际的物理网卡名称
virtual_router_id 10 # 指定虚拟路由的ID号，主备组保持一致
priority 100 # 指定优先级，数值越大优先级越高，这里设置主为100，备为90
advert_int 1 # 心跳频率，单位秒
authentication { # #定义认证信息,每个热备组保持一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { # 指定群集vip地址
172.16.40.160
}
}
# 配置集群对外访问的IP+端口，端口和后端nginx保持一致
virtual_server 172.16.40.160 80 {
delay_loop 6 # 健康检测时间，单位秒
lb_algo rr # 配置负载均衡的算法，默认为轮询
lb_kind DR # 设置LVS的工作模式，NAT | TUN | DR
persistence_timeout 5 # 会话持久化的时间，单位秒
protocol TCP # 协议
# 负载均衡的真实服务器，也就是后台nginx服务器的ip+端口
real_server 172.16.40.151 80 {
weight 1 # 轮询权重比，默认为1
# 设置健康检查
TCP_CHECK { # 设置健康检查
connect_port 80 # 检查的端口
connect_timeout 3 # 超时时间，单位秒
nb_get_retry 3 # 检测的次数
delay_before_retry 3 # 间隔时间，单位秒
}
}
# 负载均衡的真实服务器，也就是后台nginx服务器的ip+端口
real_server 172.16.40.152 80 {
weight 1 # 轮询权重比，默认为1
# 设置健康检查
TCP_CHECK { # 设置健康检查
connect_port 80 # 检查的端口
connect_timeout 3 # 超时时间，单位秒
nb_get_retry 3 # 检测的次数
delay_before_retry 3 # 间隔时间，单位秒
}
}
}
编辑 LVS02 节点的 /etc/keepalived/keepalived.conf 文件，添加以下内容。
global_defs {
router_id LVS_02 # 指定路由名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
}
vrrp_instance VI_1 { # 指定虚拟网卡名称，主备一样
state BACKUP # 指定热备状态，主为MASTER，备为BACKUP
interface ens192 # 指定实际的物理网卡名称
virtual_router_id 10 # 指定虚拟路由的ID号，主备组保持一致
priority 90 # 指定优先级，数值越大优先级越高，这里设置主为100，备为90
advert_int 1 # 心跳频率，单位秒
authentication { # #定义认证信息,每个热备组保持一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { # 指定群集vip地址
172.16.40.160
}
}
# 配置集群对外访问的IP+端口，端口和后端nginx保持一致
virtual_server 172.16.40.160 80 {
delay_loop 6 # 健康检测时间，单位秒
lb_algo rr # 配置负载均衡的算法，默认为轮询
lb_kind DR # 设置LVS的工作模式，NAT | TUN | DR
persistence_timeout 5 # 会话持久化的时间，单位秒
protocol TCP # 协议
# 负载均衡的真实服务器，也就是后台nginx服务器的ip+端口
real_server 172.16.40.151 80 {
weight 1 # 轮询权重比，默认为1
# 设置健康检查
TCP_CHECK { # 设置健康检查
connect_port 80 # 检查的端口
connect_timeout 3 # 超时时间，单位秒
nb_get_retry 3 # 检测的次数
delay_before_retry 3 # 间隔时间，单位秒
}
}
# 负载均衡的真实服务器，也就是后台nginx服务器的ip+端口
real_server 172.16.40.152 80 {
weight 1 # 轮询权重比，默认为1
# 设置健康检查
TCP_CHECK { # 设置健康检查
connect_port 80 # 检查的端口
connect_timeout 3 # 超时时间，单位秒
nb_get_retry 3 # 检测的次数
delay_before_retry 3 # 间隔时间，单位秒
}
}
}
systemctl start keepalived # 启动keepalived服务
通过 ip addr 命令可以查看到 LVS01已获取到VIP地址。
2.6 配置nginx节点虚拟IP (2台一样)
复制本地回环网卡配置文件。
cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:1
编辑新的 /etc/sysconfig/network-scripts/ifcfg-lo:1 网卡配置，内容如下
DEVICE=lo:1
IPADDR=172.16.40.160
NETMASK=255.255.255.255
NETWORK=127.0.0.0
重启网络服务，使配置生效。
systemctl restart network
通过 ip addr 命令可以查看到2台节点的 lo:1 网卡配置已生效，成功添加上DIP。
2.7 配置nginx节点arp响应规则（2台一样）
因为LVS与真实服务器都设置了VIP地址，所以这里要求所有真实服务器要禁止对VIP地址的ARP响应，具体是通过arp_ignore与arp_announce来实现的，编辑 /etc/sysctl.conf 文件，添加以下内容。
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
下面是每个参数的具体含义：
-
net.ipv4.conf.all.arp_ignore = 1这个参数定义了对于目标地址为本机IP的ARP请求的应答模式。当设置为1时，系统只会回应那些目标IP为本机上配置的、并且发送请求的网络接口（网卡）上的ARP请求。这意味着如果一个请求是针对非本地接口的IP地址，系统将不会回应。这有助于防止不必要的ARP响应，可能在某些网络配置中有用，比如使用多个网络接口的服务器。
-
net.ipv4.conf.all.arp_announce = 2这个参数限制了从网络接口发出的ARP请求中的源IP地址。当设置为2时，系统只会使用与目标IP地址在同一子网的本地IP地址作为ARP请求的源IP地址。这有助于确保ARP请求的源IP地址与目标IP地址在同一网络段，可以提高网络的效率和安全性。
-
net.ipv4.conf.default.arp_ignore = 1这个参数为所有网络接口设置了默认的
arp_ignore值。如果某个网络接口没有单独设置arp_ignore，就会使用这个默认值。 -
net.ipv4.conf.default.arp_announce = 2这个参数为所有网络接口设置了默认的
arp_announce值。如果某个网络接口没有单独设置arp_announce，就会使用这个默认值。 -
net.ipv4.conf.lo.arp_ignore = 1这个参数特别为本地回环接口（lo）设置了
arp_ignore的值。回环接口通常用于本地通信，不需要参与ARP过程，因此这个设置通常不会影响系统的正常操作。 -
net.ipv4.conf.lo.arp_announce = 2这个参数特别为本地回环接口（lo）设置了
arp_announce的值。同样，由于回环接口的特殊性，这个设置通常不会影响系统的正常操作。
sysctl -p # 激活配置
2.8 为虚拟DIP添加路由规则 (临时生效)（2台一样）
route add -host 172.16.40.160 dev lo:1
使用 route -n 查看本机路由表，已完成添加。
或者可在 /etc/rc.local 文件中写入开机自动添加路由配置
echo "route add -host 172.16.40.160 dev lo:1" >> /etc/rc.local
2.9 安装nginx，修改页面内容
yum install nginx -y
编辑默认的 /usr/share/nginx/html/index.html 页面内容，用于区分请求结果。
重启 nginx 服务。
systemctl restart nginx
2.10 客户端请求VIP，校验负载均衡
通过LVS01 执行 ipvsadm -Ln 查看负载均衡规则，已自动匹配生效。
保存当前配置。
ipvsadm-save >/etc/sysconfig/ipvsadm
从客户端请求 VIP ，查看页面返回结果。
curl -s 172.16.40.160 |grep '<h1>'
从 LVS01 上执行 ipvsadm -Lnc 同步查看负载均衡调度结果。
可以看到，客户端请求结果与LVS调度结果一致，成功对请求进行轮询转发到2台nginx节点上。
到此，部署全部完成。
三、扩展疑问
3.1 在 VS/DR 模式下 VIP 、DIP 和 RIP 必须在同一网段吗？
在 VS/DR 模式下 VIP 、DIP 和 RIP 不需要在同一网段！
其中 VIP 必须是公网 IP；而 DIP 和 RIP 必须在同一网段（可以是任意网段的 IP，也可以是私网 IP），且需要节点主机的 RIP 可以把 IP 数据包发送到一个能把 IP 数据包路由到公网的路由器上。
其实 LVS 在 VS/DR 模式下的要求是 DIP 和 RIP 必须处于同一网段中。在实际的部署过程中发现如果在 Director 上 VIP 和 DIP 在同一网段、或在 RealServer 上 VIP 与 RIP 在同一网段，LVS 集群工作会很不稳定。因为当一个 IP 数据包需要发到默认网关时（在 RealServer 或 Director 上），Linux 主机不知道应该使用哪个接口（在同一子网中的 VIP 和 DIP/RIP），可能会随机选一个，可以通过在 Linux 中配置路由表来解决。
不同网段部署案例参考：