基本概念
LVS(Linux Virtual Server)是Linux虚拟服务器的简称。
LVS通过将一个真实服务器集群虚拟成一台服务器来对外提供服务,同时在集群内部实现负载均衡。这种技术能够显著提高服务的处理能力和可靠性,降低单台服务器的负载压力。终端互联网用户从外部访问公司的外部负载均衡服务器,终端用户的Web请求会发送给LVS调度器,调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器,比如,轮询算法可以将外部的请求平均分发给后端的所有服务器,终端用户访问LVS调度器虽然会被转发到后端真实的服务器,但如果真实服务器连接的是相同的存储,提供的服务也是相同的服务,最终用户不管是访问哪台真实服务器,得到的服务内容都是一样的,整个集群对用户而言都是透明的。
LVS基于内核网络层工作,有着超强的并发处理能力,单台LVS可以承受上万的并发连接。LVS是基于4层的负载均衡软件,因此LVS在所有负载均衡软件中性能最强,稳定性最高,消耗CPU和内存少。LVS是工作在4层,所以它可以对应用层的所有协议作负载均衡,包括http、DNS、ftp等。
工作原理
LVS的工作原理基于内核网络层,通过负载调度器(Director Server)接收客户端的请求,并根据预设的调度算法将请求分发到后端真实服务器(Real Server)。调度器通过修改数据包的目标IP地址和端口,将请求转发给后端服务器,后端服务器处理请求并将响应返回给客户端。整个过程对用户透明,用户访问的是虚拟IP地址,而实际处理请求的是后端服务器。
核心组件与术语
IPVS(IP Virtual Server):LVS集群的核心软件模块,安装在负载均衡器上,负责虚拟出一个IP地址和端口对外提供服务。
专业术语:
VS(Virtual Server):虚拟服务器,通常指负载均衡器。
DS(Director/Balancer):分发器/负载均衡器,负责接收客户端请求并根据调度算法分发到后端服务器。
RS(Real Server):后端请求处理服务器,负责处理分发器转发的请求。
CIP(Client IP):客户端IP地址。
VIP(Virtual IP):虚拟IP地址,对外提供服务的IP地址。
DIP(Director IP):分发器(负载均衡器)的IP地址。
RIP(Real Server IP):后端服务器的IP地址。
工作模式
LVS支持多种工作模式,以适应不同的应用场景,主要包括:
NAT(Network Address Translation)模式:
在该模式下,负载均衡器不仅需要修改请求报文的目标地址,还需要修改响应报文的源地址。
适用于小规模集群,但请求和响应报文都需要经过负载均衡器,可能成为性能瓶颈。
DR(Direct Routing)模式:
在该模式下,负载均衡器只修改请求报文的目标MAC地址,而不修改IP地址。
后端服务器处理完请求后,直接将响应报文发回客户端,无需经过负载均衡器。
适用于大规模集群,处理效率高。
TUN(IP Tunneling)模式:
通过IP隧道将请求转发到后端服务器,后端服务器处理完请求后直接将响应报文发回客户端。
适用于地理位置分散的集群,但需要所有服务器支持IP Tunneling协议。
Full-NAT模式:
在请求和响应报文中都进行源地址和目标地址的转换。
允许RIP和DIP不在同一IP网络,但要能通信。
工作的分层及组成
第一层:负载调度器(load balancer/Director),它是整个集群的总代理,它在有两个网卡,一个网卡面对访问网站的客户端,
一个网卡面对整个集群的内部。负责将客户端的请求发送到一组服务器上执行,而客户也认为服务是来自这台主的。举个生动
的例子,集群是个公司,负载调度器就是在外接揽生意,将接揽到的生意分发给后台的真正干活的真正的主机们。当然需要将活
按照一定的算法分发下去,让大家都公平的干活。
第二层:服务器池(server pool/ Realserver),是一组真正执行客户请求的服务器,可以当做WEB服务器。
第三层:共享存储(sharedstorage),它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。一个公司得有一个后台账目吧,这才能协调。不然客户把钱付给了A,而换B接待客户,因为没有相同的账目。B说客户没付钱,那这样就不是客户体验度的问题了。
ipvsnadm的使用
ipvsadm命令是LVS在应用层的管理命令,我们可以通过这个命令去管理LVS的配置。
ipvsadm是一个工具,同时它也是一条命令,用于管理LVS的策略规则。
添加服务:使用-A选项可以添加一个新的服务,例如ipvsadm -A -t 192.168.1.100:80 -s rr会添加一个使用Round Robin调度算法的服务,监听192.168.1.100的80端口。
添加真实服务器:使用-a选项可以向已存在的服务中添加真实服务器,例如ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.101 -g会将192.168.1.101添加为该服务的真实服务器,并使用Gateway模式(DR)。
删除服务或真实服务器:使用-D选项可以删除特定的服务或真实服务器,例如ipvsadm -D -t 192.168.1.100:80 -r 192.168.1.101会删除192.168.1.100:80服务中的192.168.1.101真实服务器。
查看配置:使用-L选项可以查看当前的LVS配置,例如ipvsadm -L会列出所有当前的LVS配置规则。
-A, --add-service:为ipvs虚拟服务器添加一个虚拟服务,即添加一个需要被负载均衡的虚拟地址。虚拟地址需要是ip地址,端口号,协议的形式。
-E, --edit-service:修改一个虚拟服务。
-D, --delete-service:删除一个虚拟服务。
-C, --clear:清除所有虚拟服务。
-R, --restore:从标准输入获取ipvsadm命令。一般结合下边的-S使用。
-S, --save:从标准输出输出虚拟服务器的规则。可以将虚拟服务器的规则保存,在以后通过-R直接读入,以实现自动化配置。
-a, --add-server:为虚拟服务添加一个real server(RS)
-e, --edit-server:修改RS
-d, --delete-server:删除
-L, -l, --list:列出虚拟服务表中的所有虚拟服务。可以指定地址。添加-c显示连接表。
-Z, --zero:将所有数据相关的记录清零。这些记录一般用于调度策略。
--set tcp tcpfin udp:修改协议的超时时间。
--start-daemon state:设置虚拟服务器的备服务器,用来实现主备服务器冗余。(注:该功能只支持ipv4)
--stop-daemon:停止备服务器。
-h, --help:帮助。
lvs的十种算法
算法分为静态和动态两种
1,i静态
RR:轮询(Round Robin,RR)
原理:调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。
WRR:加权轮询(Weighted Round Robin,WRR)
原理:调度器根据真实服务器的不同处理能力来调度访问请求。具有较高权值的服务器将处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
DH:目标地址hash(Destination Hash )
根据请求的目标IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
SH:源地址 hash(Source Hash)
根据请求的源IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
2动态
LC:最少连接(Least Connections,LC)
调度器动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用"最小连接"调度算法可以较好地均衡负载。
WLC:加权最少连接(Weighted Least Connections,WLC)
在集群系统中的服务器性能差异较大的情况下,调度器采用"加权最少链接"调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
SED:最短延迟调度(Shortest Expected Delay)
在WLC基础上改进,Overhead = (ACTIVE+1)*256/加权,不再考虑非活动状态,把当前处于活动状态的数目+1来实现,数目最小的,接受下次请求,+1的目的是为了考虑加权的时候,非活动连接过多缺陷:当权限过大的时候,会导致空闲服务器一直处于无连接状态。
NQ永不排队/最少队列调度(Never Queue Scheduling NQ)
无需队列。如果有台 realserver的连接数=0就直接分配过去,不需要再进行sed运算,保证不会有一个主机很空闲。在SED基础上无论+几,第二次一定给下一个,保证不会有一个主机不会很空闲着,不考虑非活动连接,才用NQ,SED要考虑活动状态连接,对于DNS的UDP不需要考虑非活动连接,而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力
LBLC:'基于局部性的最少连接(Locality-Based Least Connections,LBLC)
该算法针对目标IP地址的负载均衡,主要用于Cache集群系统。它根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用"最少链接"的原则选出一个可用的服务器,将请求发送到该服务器。
LBLCR:带复制的基于局部性最少连接(Locality-Based Least Connections with Replication,LBLCR)
与LBLC算法类似,但它要维护从一个目标IP地址到一组服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按"最小连接"原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按"最小连接"原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改时,将最忙的服务器从服务器组中删除,以降低复制的程度。
实验共部署nat和dr模式和lvs防火墙标记解决轮询调度
部署net模式
1.架构图
一共需要四台虚拟机,两台为RS,一台为lvs,最后一台为客户机
2.在lvs
配置网卡IP
bash
[root@bb ~]# vim /etc/NetworkManager/system-connections/eth1.connection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
method=manual
address1=192.168.0.100/24
[root@bb ~]# vim /etc/NetworkManager/system-connections/eth0.connection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=172.25.254.254/24,172.25.254.2
dns=114.114.114.114;
bash
[root@bb ~]# nmcli connection reload
[root@bb ~]# nmcli connection up eth1
[root@bb ~]# nmcli connection reload
[root@bb ~]# nmcli connection up eth0
打开lvs的内核功能
bash
[root@bb ~]# vim /etc/sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_forward=1
[root@bb ~]# sysctl -p
net.ipv4.ip_forward = 1
在lvs安装ipvsadm
bash
[root@bb ~]# yum install ipvsadm -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份
本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。
AppStream 94 MB/s | 6.1 MB 00:00
BaseOS 128 MB/s | 1.7 MB 00:00
依赖关系解决。
================================================================================
软件包 架构 版本 仓库 大小
================================================================================
安装:
ipvsadm x86_64 1.31-6.el9 AppStream 54 k
事务概要
================================================================================
安装 1 软件包
总计:54 k
安装大小:89 k
下载软件包:
运行事务检查
事务检查成功。
运行事务测试
事务测试成功。
运行事务
准备中 : 1/1
安装 : ipvsadm-1.31-6.el9.x86_64 1/1
运行脚本: ipvsadm-1.31-6.el9.x86_64 1/1
验证 : ipvsadm-1.31-6.el9.x86_64 1/1
已更新安装的产品。
已安装:
ipvsadm-1.31-6.el9.x86_64
完毕
lvs做策略
bash
[root@bb ~]# ipvsadm -A -t 172.25.254.254:80 -s rr
[root@bb ~]# ipvsadm -a -t 172.25.254.254:80 -r 192.168.0.10:80 -m
[root@bb ~]# ipvsadm -a -t 172.25.254.254:80 -r 192.168.0.20:80 -m
测试结果
结果成功
3.在rs
配置网卡IP
bash
vim /etc/NetworkManager/system-connections/eth0.connection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=192.168.0.10/24,192.168.0.100
bash
[root@bb ~]# nmcli connection reload
[root@bb ~]# nmcli connection up eth0
安装httpd
bash
[root@bb ~]# yum install httpd -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份
本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。
AppStream 247 MB/s | 6.1 MB 00:00
BaseOS 99 MB/s | 1.7 MB 00:00
依赖关系解决。
================================================================================
软件包 架构 版本 仓库 大小
================================================================================
安装:
httpd x86_64 2.4.53-7.el9 AppStream 54 k
安装依赖关系:
apr x86_64 1.7.0-11.el9 AppStream 127 k
apr-util x86_64 1.6.1-20.el9 AppStream 98 k
apr-util-bdb x86_64 1.6.1-20.el9 AppStream 15 k
httpd-core x86_64 2.4.53-7.el9 AppStream 1.5 M
httpd-filesystem noarch 2.4.53-7.el9 AppStream 18 k
httpd-tools x86_64 2.4.53-7.el9 AppStream 89 k
redhat-logos-httpd noarch 90.4-1.el9 AppStream 18 k
安装弱的依赖:
apr-util-openssl x86_64 1.6.1-20.el9 AppStream 17 k
mod_http2 x86_64 1.15.19-2.el9 AppStream 153 k
mod_lua x86_64 2.4.53-7.el9 AppStream 64 k
事务概要
================================================================================
安装 11 软件包
总计:2.1 M
安装大小:5.9 M
下载软件包:
运行事务检查
事务检查成功。
运行事务测试
事务测试成功。
运行事务
准备中 : 1/1
安装 : apr-1.7.0-11.el9.x86_64 1/11
安装 : apr-util-bdb-1.6.1-20.el9.x86_64 2/11
安装 : apr-util-openssl-1.6.1-20.el9.x86_64 3/11
安装 : apr-util-1.6.1-20.el9.x86_64 4/11
安装 : httpd-tools-2.4.53-7.el9.x86_64 5/11
安装 : redhat-logos-httpd-90.4-1.el9.noarch 6/11
运行脚本: httpd-filesystem-2.4.53-7.el9.noarch 7/11
安装 : httpd-filesystem-2.4.53-7.el9.noarch 7/11
安装 : httpd-core-2.4.53-7.el9.x86_64 8/11
安装 : mod_http2-1.15.19-2.el9.x86_64 9/11
安装 : mod_lua-2.4.53-7.el9.x86_64 10/11
安装 : httpd-2.4.53-7.el9.x86_64 11/11
运行脚本: httpd-2.4.53-7.el9.x86_64 11/11
验证 : apr-1.7.0-11.el9.x86_64 1/11
验证 : apr-util-1.6.1-20.el9.x86_64 2/11
验证 : apr-util-bdb-1.6.1-20.el9.x86_64 3/11
验证 : apr-util-openssl-1.6.1-20.el9.x86_64 4/11
验证 : httpd-2.4.53-7.el9.x86_64 5/11
验证 : httpd-core-2.4.53-7.el9.x86_64 6/11
验证 : httpd-filesystem-2.4.53-7.el9.noarch 7/11
验证 : httpd-tools-2.4.53-7.el9.x86_64 8/11
验证 : mod_http2-1.15.19-2.el9.x86_64 9/11
验证 : mod_lua-2.4.53-7.el9.x86_64 10/11
验证 : redhat-logos-httpd-90.4-1.el9.noarch 11/11
已更新安装的产品。
已安装:
apr-1.7.0-11.el9.x86_64 apr-util-1.6.1-20.el9.x86_64
apr-util-bdb-1.6.1-20.el9.x86_64 apr-util-openssl-1.6.1-20.el9.x86_64
httpd-2.4.53-7.el9.x86_64 httpd-core-2.4.53-7.el9.x86_64
httpd-filesystem-2.4.53-7.el9.noarch httpd-tools-2.4.53-7.el9.x86_64
mod_http2-1.15.19-2.el9.x86_64 mod_lua-2.4.53-7.el9.x86_64
redhat-logos-httpd-90.4-1.el9.noarch
完毕!
写入测试内容
bash
[root@bb ~]# echo web1-10 > /var/www/html/index.html
启用
bash
[root@bb ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@bb ~]#
rs2 和rs1 的一样
部署dr模式
1.架构图
从架构图可以看出,实验需要用到五台虚拟机
其中两台作为RS,一台为LVS,一台router且需要两个网卡,一个为仅主机模式,一个为NAT模式,最后一台作为客户机测试
注意,配置过程中的IP要根据自己的来设定
1,在lvs
配置好网卡
bash
#把lvs的网卡设置上IP
[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth1.connection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
method=manual
address1=192.168.0.50/24,192.168.0.100
bash
nmcli connection reload
nmcli connection up eth1
之后安装ipvsadm并做策略
bash
#在lvs安装ipvsadm
[root@lvs ~]# yum install ipvsadm -y
bash
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g
给lvs的环回配置vip
bash
[root@lvs ~]# ip a a 192.168.0.200/32 dev lo
2,在RS1
在RS1里配置好网卡IP
bash
[root@web1 ~]# vim /etc/NetworkManager/system-connections/eth0.connection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=192.168.0.10/24,192.168.0.100
bash
[root@bb ~]# nmcli connection reload
[root@bb ~]# nmcli connection up eth0
安装好httpd,
bash
[root@web1 ~]# yum install httpd -y
在他默认访问的路径下写进内容,以在测试的时候观察,并启用
bash
[root@web1 ~]# echo web1-10 > /var/www/html/index.html
systemctl enable --now httpd
使RS主机不对外响应VIP
bash
[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@web1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@web1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
给环回配置vip
bash
[root@web1 ~]# ip a a 192.168.0.200/32 dev lo
另外一台的RS配置一样,不过IP要改
3.在router的配置
bash
[root@rou2 ~]# vim /etc/NetworkManager/system-connections/eth1.connection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
method=manual
address1=192.168.0.100/24
[root@rou2 ~]# vim /etc/NetworkManager/system-connections/eth0.connection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=172.25.254.100/24,172.25.254.2
dns=114.114.114.114;
把router的内核功能打开
bash
[root@rou2 ~]# vim /etc/sysctl.conf
sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_forward = 1
[root@rou2 ~]# sysctl -p
net.ipv4.ip_forward = 1
4.在客户机
配置IP
bash
[root@bb ~]$ vim /etc/NetworkManager/system-connections/eth0.connection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=172.25.254.200/24,172.25.254.100
测试
测试结果为成功
lvs防火墙标记解决轮询调度
在lvs的dr模式的基础上进行配置
1.在rs 1
安装mod_ssl让rs支持https
bash
[root@bb ~]# yum install mod_ssl -y
重启httpd
bash
root@bb ~]# systemctl restart httpd
两台RS的配置一样
2.在lvs上
清空之前的ipvsadm策略
bash
[root@lvs ~]# ipvsadm -C
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
主机端口做标记为
bash
[root@lvs ~]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 666
在客户机测试
测试结果为成功