LVS原理及部署

一、lvs原理

1.lvs简介

LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器集群，它具有良好可靠性、可扩展性和可操作性，从而以低廉的成本实现最优的服务性能。目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

2.LVS结构

使用LVS架设的服务器集群系统有三个部分组成：最前端的负载均衡层，用Load Balancer表示，中间的服务器群组层，用Server Cluster表示，最底端的数据共享存储层，用Storage表示，在用户看来，所有的内部应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务

LVS各个组成部分详解：

Load Balancer层:位于整个集群系统的最前端，有一台或者多台负载调度器（Director Server 管理服务器）组成，LVS模块就安装在Director Server上，而Director的主要作用类似于一个路由器，它含有完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给Server Array层的应用服务器（Real Server）上。同时，在Director Server上还要安装对Real Server服务的监控模块Ldirectord，此模块用于监测各个Real Server服务的健康状况。在Real Server不可用时把它从LVS路由表中剔除，恢复时重新加入。

Server Cluster层：由一组实际运行应用服务的机器组成，Real Server可以是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每个Real Server之间通过高速的LAN或分布在各地的WAN相连接。在实际的应用中，Director Server也可以同时兼任Real Server的角色。

Storage层：是为所有Real Server提供共享存储空间和内容一致性的存储区域，在物理上，一般有磁盘阵列设备组成，为了提供内容的一致性，一般可以通过NFS网络文件系统共享数据，但是NFS在繁忙的业务系统中，性能并不是很好，此时可以采用集群文件系统，例如Red hat的GFS文件系统，oracle提供的OCFS2文件系统等。

3.IP负载均衡技术

负载均衡技术有很多实现方案，有基于DNS域名轮流解析的方法、有基于客户端调度访问的方法、有基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的是IP负载均衡技术。

LVS的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。

当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术，IPVS实现负载均衡机制有三种，分别是NAT、TUN和DR.

4.LVS相关术语

VS：Virtual Server ，虚拟服务

Director： Balancer ，也叫DS(Director Server)负载均衡器、分发器

RS：Real Server ，后端请求处理服务器，真实服务器

CIP: Client IP ，客户端IP

VIP：Director Virtual IP ，负载均衡器虚拟IP

DIP：Director IP ，负载均衡器IP

RIP：Real Server IP ，后端请求处理的服务器IP

二、NAT模式环境设定

1.配IP

vs

RS1

root@rs1 xia\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 给网卡 eth0 永久设置 默认网关：192.168.0.100 \[root@rs1 xia\]# nmcli connection reload 让 NetworkManager 重新加载配置 \[root@rs1 xia\]# nmcli connection up eth0 重新激活 eth0，让新网关真正生效 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5） \[root@rs1 xia\]# route -n 查看当前系统内核路由表（看网关、网段、走哪个网卡） Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 RS2  #设定访问业务真实数据 \[root@RS1 \~\]# dnf install httpd -y \[root@RS1 \~\]# systemctl enable --now httpd \[root@RS1 \~\]# echo RS1 - 192.168.0.10 \> /var/www/html/index.html \[root@rs2 xia\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 给网卡 eth0 永久设置 默认网关：192.168.0.100 \[root@rs2 xia\]# nmcli connection reload 让 NetworkManager 重新加载配置 \[root@rs2 xia\]# nmcli connection up eth0 重新激活 eth0，让新网关真正生效 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5） \[root@rs2 xia\]# route -n 查看当前系统内核路由表（看网关、网段、走哪个网卡） Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 #设定访问业务真实数据 \[root@RS2 \~\]# dnf install httpd -y \[root@RS2 \~\]# systemctl enable --now httpd \[root@RS2\~\]# echo RS1 - 192.168.0.20 \> /var/www/html/index.html ### 2.验证 #在vs机上验证 \[root@vsnode xia\]# curl 192.168.0.10 RS1 - 192.168.0.10 \[root@vsnode xia\]# curl 192.168.0.20 RS2 - 192.168.0.20 ### 3.NAT模式实现方法 #在vs机子上操作 #1，开启内核路由功能 \[root@vsnode xia\]# echo net.ipv4.ip_forward=1 \>\> /etc/sysctl.conf 永久开启 IPv4 转发 \[root@vsnode xia\]# sysctl -p 立即加载 /etc/sysctl.conf 里的配置，不用重启 net.ipv4.ip_forward = 1 #2.编写策略 \[root@vsnode xia\]# yum install ipvsadm -y \[root@vsnode xia\]# ipvsadm -C 清空服务器上所有已配置的 LVS 规则 \[root@vsnode xia\]# ipvsadm -A -t 172.25.254.100:80 -s wrr创建一个对外提供服务的 LVS 虚拟节点（VIP），指定用 "加权轮询" 算法分发请求。 \[root@vsnode xia\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1 \[root@vsnode xia\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1 把后端真实服务器（192.168.0.10/20:80）加入刚才创建的 LVS 虚拟服务，指定用 NAT 模式转发，权重为 1。 \[root@vsnode xia\]# ipvsadm -Ln 查看当前配置好的所有 LVS 规则（验证配置是否生效）。 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.254.100:80 wrr -\> 192.168.0.10:80 Masq 1 0 0 -\> 192.168.0.20:80 Masq 1 0 0 测试 \[root@vsnode xia\]# for i in {1..10};do curl 172.25.254.100;done RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 #更改权重 \[root@vsnode xia\]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2 \[root@vsnode xia\]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.254.100:80 wrr -\> 192.168.0.10:80 Masq 2 0 5 -\> 192.168.0.20:80 Masq 1 0 5 测试 \[root@vsnode xia\]# for i in {1..10};do curl 172.25.254.100;done RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 ### 4.规则持久化 实验过程可以用过打开另外一个shell的并执行监控命令的方式进行观察 \[root@vsnode \~\]# watch -n 1 ipvsadm -Ln #利用自定义文件进行持久化 \[root@vsnode xia\]# umount /mnt 记得取消挂载硬盘 \[root@vsnode xia\]# ipvsadm-save -n 导出当前系统中所有 LVS 规则 -A -t 172.25.254.100:80 -s wrr -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2 -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1  \[root@vsnode xia\]# ipvsadm-save -n \> /mnt/ipvs.rule \[root@vsnode xia\]# ipvsadm -C 清空  \[root@vsnode xia\]# ipvsadm-restore \< /mnt/ipvs.rule  #利用守护进程进行规则持久化 \[root@vsnode xia\]# ipvsadm-save -n \> /etc/sysconfig/ipvsadm \[root@vsnode xia\]# ipvsadm -C  \[root@vsnode xia\]# systemctl enable --now ipvsadm.service Created symlink /etc/systemd/system/multi-user.target.wants/ipvsadm.service → /usr/lib/systemd/system/ipvsadm.service.  ## 三、DR模式实验过程  ### 环境设定 路由器 \[root@vsnode xia\]# systemctl enable --now ipvsadm.service 给 ipvsadm 服务创建开机自启的软链，并立即启动服务 Created symlink /etc/systemd/system/multi-user.target.wants/ipvsadm.service /usr/lib/systemd/system/ipvsadm.service. 说明开机自启的链接已创建，服务启动成功。 \[root@vsnode xia\]# systemctl disable --now ipvsadm.service 删除 ipvsadm 服务的开机自启软链接 Removed "/etc/systemd/system/multi-user.target.wants/ipvsadm.service". \[root@vsnode xia\]# ipvsadm -C #设定ip  #设定内核路由功能 \[root@vsnode xia\]# echo net.ipv4.ip_forward=1 \>\> /etc/sysctl.conf \[root@vsnode xia\]# sysctl -p net.ipv4.ip_forward = 1 #数据转发策略 \[root@vsnode xia\]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100 \[root@vsnode xia\]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.100 vsnode 调度器 配IP  \[root@vsnode \~\]# vmset.sh eth0 192.168.0.50 vsnode norouter \[root@vsnode \~\]# vim /etc/NetworkManager/system-connections/eth0.nmconnection \[connection

id=eth0

type=ethernet

interface-name=eth0

ipv4

method=manual

address1=192.168.0.50/24,192.168.0.100

dns=8.8.8.8;

connection

id=eth0

type=ethernet

interface-name=eth0

ipv4

method=manual

address1=192.168.0.50/24,172.25.254.2

dns=8.8.8.8;

root@vsnode \~\]# cd /etc/NetworkManager/system-connections/ \[root@vsnode system-connections\]# cp -p eth0.nmconnection lo.nmconnection \[root@vsnode system-connections\]# vim lo.nmconnection \[connection

id=lo
type=loopback 这个不要忘改了

interface-name=lo

ipv4

method=manual

address1=127.0.0.1/8

address2=192.168.0.200/32

root@vsnode system-connections\]# nmcli connection reload 重启服务 \[root@vsnode system-connections\]# nmcli connection up eth0 激活网卡 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/18） \[root@vsnode system-connections\]# nmcli connection up lo 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/19） \[root@vsnode system-connections\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 127.0.0.0 0.0.0.0 255.0.0.0 U 30 0 0 lo 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0  客户端 配IP  \[root@client xia\]# vim /etc/NetworkManager/system-connections/eth0.nmconnection \[connection

id=eth0

type=ethernet

interface-name=eth0

ipv4

method=manual

address1=172.25.254.99/24,172.25.254.100

dns=8.8.8.8;

root@client xia\]# nmcli connection reload \[root@client xia\]# nmcli connection up eth0 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5） \[root@client xia\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 172.25.254.100 0.0.0.0 UG 100 0 0 eth0 172.25.254.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 验证 \[root@client xia\]# ping 192.168.0.200 PING 192.168.0.200 (192.168.0.200) 56(84) 比特的数据。 64 比特，来自 192.168.0.200: icmp_seq=1 ttl=63 时间=1.36 毫秒 64 比特，来自 192.168.0.200: icmp_seq=2 ttl=63 时间=1.29 毫秒 64 比特，来自 192.168.0.200: icmp_seq=3 ttl=63 时间=1.84 毫秒 --- 192.168.0.200 ping 统计 --- 已发送 3 个包， 已接收 3 个包, 0% packet loss, time 2003ms rtt min/avg/max/mdev = 1.285/1.494/1.840/0.246 ms RS1 配IP  \[root@rs1 \~\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 \[root@rs1 \~\]# nmcli connection reload \[root@rs1 \~\]# nmcli connection up eth0 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7） \[root@rs1 \~\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 \[root@rs1 \~\]# cd /etc/NetworkManager/system-connections/ \[root@rs1 system-connections\]# cp -p eth0.nmconnection lo.nmconnection \[root@rs1 system-connections\]# vim lo.nmconnection \[connection

id=lo

type=loopback

interface-name=lo

ethernet

ipv4

address1=127.0.0.1/8

address2=192.168.0.200/32

method=manual

root@rs1 system-connections\]# nmcli connection reload \[root@rs1 system-connections\]# nmcli connection up lo 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）  \[root@rs1 system-connections\]# echo 1 \> /proc/sys/net/ipv4/conf/all/arp_ignore设置所有网卡的 arp_ignore 参数为 1，让服务器只响应目标 IP 是本机网卡配置的 IP 的 ARP 请求。 \[root@rs1 system-connections\]# echo 1 \> /proc/sys/net/ipv4/conf/lo/arp_ignore单独给回环网卡（lo）设置 arp_ignore=1，强化对 VIP 的 ARP 响应限制（因为 LVS DR 模式下 VIP 通常配置在 lo 网卡上）。 \[root@rs1 system-connections\]# echo 2 \> /proc/sys/net/ipv4/conf/lo/arp_announce设置回环网卡的 arp_announce 参数为 2，让服务器发送 ARP 包时，只使用目标网段匹配的网卡 IP 作为源 IP，不暴露 VIP。 \[root@rs1 system-connections\]# echo 2 \> /proc/sys/net/ipv4/conf/all/arp_announce让所有网卡生效 arp_announce=2，全局限制 ARP 包的源 IP 选择，避免 VIP 被对外暴露。 RS2 配置IP  \[root@rs2 xia\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 \[root@rs2 xia\]# nmcli connection reload \[root@rs2 xia\]# nmcli connection up eth0 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7） \[root@rs2 xia\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 \[root@rs2 xia\]# cd /etc/NetworkManager/system-connections/ \[root@rs2 system-connections\]# cp -p eth0.nmconnection lo.nmconnection \[root@rs2 system-connections\]# vim lo.nmconnection \[connection

id=lo

type=loopback

interface-name=lo

ethernet

ipv4

address1=127.0.0.1/8

address2=192.168.0.200/32

method=manual

root@rs2 system-connections\]# nmcli connection reload \[root@rs2 system-connections\]# nmcli connection up lo 连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9） \[root@rs2 system-connections\]# echo 1 \> /proc/sys/net/ipv4/conf/all/arp_ignore设置所有网卡的 arp_ignore 参数为 1，让服务器只响应目标 IP 是本机网卡配置的 IP 的 ARP 请求。 \[root@rs2 system-connections\]# echo 1 \> /proc/sys/net/ipv4/conf/lo/arp_ignore单独给回环网卡（lo）设置 arp_ignore=1，强化对 VIP 的 ARP 响应限制（因为 LVS DR 模式下 VIP 通常配置在 lo 网卡上）。 \[root@rs2 system-connections\]# echo 2 \> /proc/sys/net/ipv4/conf/lo/arp_announce设置回环网卡的 arp_announce 参数为 2，让服务器发送 ARP 包时，只使用目标网段匹配的网卡 IP 作为源 IP，不暴露 VIP。 \[root@rs2 system-connections\]# echo 2 \> /proc/sys/net/ipv4/conf/all/arp_announce让所有网卡生效 arp_announce=2，全局限制 ARP 包的源 IP 选择，避免 VIP 被对外暴露 ## 四、利用火墙标记解决轮询错误 ### 1.在rs主机中同时开始http和https两种协议 #在RS1和RS2中开启https RS1 \[root@RS1 \~\]# dnf install mod_ssl -y \[root@RS1 \~\]# systemctl restart httpd \[root@RS1\~\]# systemctl restart httpd RS2 \[root@RS2 \~\]# dnf install mod_ssl -y \[root@RS2 \~\]# systemctl restart httpd \[root@RS2\~\]# systemctl restart httpd ### 2.在vsnode中添加https的轮询策略 \[root@vsnode \~\]# ipvsadm -A -t 192.168.0.200:80 -s rr 创建 80 端口虚拟服务 \[root@vsnode \~\]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g 添加 80 端口后端 RS2 \[root@vsnode \~\]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g添加 80 端口后端 RS1 \[root@vsnode \~\]# ipvsadm -A -t 192.168.0.200:443 -s rr创建 443 端口虚拟服务 \[root@vsnode \~\]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g添加 443 端口后端 RS1 \[root@vsnode \~\]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g添加 443 端口后端 RS2 \[root@vsnode \~\]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.0.200:80 rr -\> 192.168.0.10:80 Route 1 0 0 -\> 192.168.0.20:80 Route 1 0 0 TCP 192.168.0.200:443 rr -\> 192.168.0.10:443 Route 1 0 0 -\> 192.168.0.20:443 Route 1 0 0 ### 3.轮询错误展示 \[root@client \~\]# curl 192.168.0.200;curl -k https://192.168.0.200 RS2 - 192.168.0.20 RS2 - 192.168.0.20 解决方案：使用火墙标记访问vip的80和443的所有数据包，设定标记为6666，然后对此标记进行负载 \[root@vsnode \~\]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666给 80/443 流量打 6666 标记 \[root@vsnode \~\]# ipvsadm -A -f 6666 -s rr创建基于 6666 标记的 LVS 虚拟服务 \[root@vsnode \~\]# ipvsadm -a -f 6666 -r 192.168.0.10 -g添加后端节点 192.168.0.10（DR 模式） \[root@vsnode \~\]# ipvsadm -a -f 6666 -r 192.168.0.20 -g添加后端节点 192.168.0.20（DR 模式） 测试  ## 五、利用持久连接实现会话粘滞 ### 1.设定ipvs调度策略 \[root@vsnode \~\]# iptables -t mangle -A PREROUTING -d 192.168.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666 对所有访问 192.168.0.100 的 80/443 端口流量打「6666」标记，然后 LVS 对带这个标记的流量做「轮询 + 1 秒会话保持」的 DR 模式负载均衡。 \[root@vsnode \~\]# ipvsadm -A -f 6666 -s rr -p 1 \[root@vsnode \~\]# ipvsadm -Ln 告诉 LVS：要处理 6666 标记的流量，用轮询方式 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.0.200:80 rr FWM 6666 rr -\> 192.168.0.10:0 Route 1 0 2 -\> 192.168.0.20:0 Route 1 0 0 ### 2.测试  ### 3.观察