一、LVS简介:
LVS:Linux Virtual Server,负载调度器,内核集成,章文嵩,阿里的四层SLB(Server LoadBalance)是基于LVS+keepalived实现。
LVS 官网: http://www.linuxvirtualserver.org/
LVS 相关术语 VS: Virtual Server,负责调度
RS:RealServer,负责真正提供服务
二、工作原理:
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS。
三、LVS概念:
VS:Virtual Server(调度器)
RS:Real Server (真实业务主机)
CIP:Client IP (客户端主机的ip)
VIP: Virtual serve IP VS外网的IP (对外开放的让客户访问的ip)
DIP: Director IP VS内网的IP (调度器负责访问内网的ip)
RIP: Real server IP (真实业务主机IP)
访问流程:CIP <--> VIP == DIP <--> RIP
四、nat模式
1.Ivs-nat:
本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和 PORT实现转发 RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP 请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈支持端口映射,可修改请求报文的目标PORT VS必须是Linux系统,RS可以是任意OS系统
2.nat模式数据逻辑
(1)客户端发送访问请求,请求数据包中含有请求来源(cip),访问目标地址(VIP)访问目标端口
(9000port)
(2)VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
(3)RS1相应请求,发送响应数据包,包中的相应保温为数据来源(RIP1)响应目标(CIP)相应端口(9000port)
(4)VS服务器接收到响应数据包,改变包中的数据来源(RIP1-->VIP),响应目标端口(9000-->80)
(5)VS服务器把修改过报文的响应数据包回传给客户端
(6)lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机,所以lvs的调度机容易阻塞
客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发 因为ipvs的作用点是在PREROUTING和INPUT链之间,所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。
五、DR模式
DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源 IP/PORT,以及目标IP/PORT均保持不变
1.DR模式数逻辑
在DR模式中,RS接收到访问请求后不需要回传给VS调度器,直接把回传数据发送给client,所以RS和vs 上都要有vip
2.DR模式数据传输过程
(1)客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC
(2)VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC,此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC
(3)RS1得到2中的数据包做出响应回传数据包,数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的MAC
3.DR模式的特点
(1)Director和各RS都配置有VIP
(2)确保前端路由器将目标IP为VIP的请求报文发往Director
(3)在前端网关做静态绑定VIP和Director的MAC地址
(4)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;
(5)RIP的网关不能指向DIP,以确保响应报文不会经由Director
(6)RS和Director要在同一个物理网络
(7)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
(8)不支持端口映射(端口不能修败)
(9)RS可使用大多数OS系统
六、lvs的调度算法
1.lvs调度算法类型
ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态被分为两种:静态方法和动态方法静态方法:仅根据算法本身进行调度,不考虑RS的负载情况动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
2.LVS静态调度算法
(1)RR:roundrobin 轮询 RS分别被调度,当RS配置有差别时不推荐
(2)WRR:Weighted RR,加权轮询根据RS的配置进行加权调度,性能差的RS被调度的次数少
(3)SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
(4)DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商
3.LVS动态调度算法
主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度
(1)LC:least connections(最少链接发)
适用于长连接应用Overhead(负载值)=activeconns(活动链接数) x 256+inactiveconns(非活动链接数)
(2)WLC:Weighted LC(权重最少链接)
默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
(3)SED:Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight
但是,当node1的权重为1,node2的权重为10,经过运算前几次的调度都会被node2承接
(4)NQ:Never Queue,第一轮均匀分配,后续SED
(5)LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理
(6)LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS
七、LVS部署命令
1.lvs软件相关信息
程序包:ipvsadm Unit File: ipvsadm.service
主程序:/usr/sbin/ipvsadm
规则保存工具:/usr/sbin/ipvsadm-save
规则重载工具:/usr/sbin/ipvsadm-restore
配置文件:/etc/sysconfig/ipvsadm-config
ipvs调度规则文件:/etc/sysconfig/ipvsadm
2.ipvsadm命令
核心功能: 集群服务管理:增、删、改 集群服务的RS管理:增、删、改查
(1)命令参数:
管理集群服务
ipvsadm -A|E -t(tcp)|u(udp)|f(防护墙标签) \
service-address(集群地址) \
-s scheduler(调度算法)\] \\ \[-p \[timeout\]\] \\ \[-M netmask\] \\ \[--pepersistence_engine\] \\ \[-b sched-flags
ipvsadm -D -t|u|f service-address 删除
ipvsadm --C 清空
ipvsadm --R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
(2)LVS集群中的增删改
1.管理集群服务中的增删改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法,默认为WLC
-p #设置持久连接超时,持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver
-f #firewall mask 火墙标记,是一个数字
#增加
ipvsadm -A -t 172.25.254.100:80 -s rr
ipvsadm -A -f 66 -p 3000
#修改
ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000
#删除
ipvsadm -D -t 172.25.254.100:80
ipvsadm -D -f 66
2.管理集群中RealServer的曾增删改
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
-a #添加realserver
-e #更改realserver
-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate #输出速率信息
#添加
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2
#更改
ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1
ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1
#删除
ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30
root@DR-server ~]# ipvsadm -Ln
root@DR-server \~\]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -\> RemoteAddress:Port TCP 172.25.254.100:80 0 0 0 0 0 -\> 192.168.0.30:80 0 0 0 0 0 -\> 192.168.0.40:80 0 0 0 0 0 #CPS: 每秒连接数,表示服务器处理新连接的速率 #InPPS:每秒入站数据包数量,即从客户端发送到负载均衡器的数据包速率 #OutPPS: 每秒出站数据包数量,即从负载均衡器向后端服务器或客户端发送数据包的速率 #InBPS:每秒入站流量(字节),即从客户端到服务器的流量速率。 #OutBPS:每秒出站流量(字节),即从服务器到客户端的流量速率。 \[root@DR-server \~\]# ipvsadm -Z -t 172.25.254.20:80 \[root@DR-server \~\]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -\> RemoteAddress:Port TCP 172.25.254.20:80 0 0 0 0 0 -\> 192.168.0.30:80 0 0 0 0 0 -\> 192.168.0.40:80 0 0 0 0 0 #清空策略 ipvsadm -C pvs规则:/proc/net/ip_vs ipvs连接:/proc/net/ip_vs_conn 八、实战实验 1.nat模式下的环境设定  在VS主机中 \[root@vsnode \~\]# vmset.sh eth0 172.25.254.100 vsnode \[root@vsnode \~\]# vmset.sh eth1 192.168.0.100 vsnode noroute 在RS1中 #设定网络 \[root@RS1 \~\]# vmset.sh eth0 192.168.0.10 RS1 noroute \[root@RS1 \~\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 \[root@RS1 \~\]# nmcli connection reload \[root@RS1 \~\]# nmcli connection up eth0 \[root@RS1 \~\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 #设定访问业务真实数据 \[root@RS1 \~\]# dnf install httpd -y \[root@RS1 \~\]# systemctl enable --now httpd \[root@RS1 \~\]# echo RS1 - 192.168.0.10 \> /var/www/html/index.html 在RS2中 #设定网络 \[root@RS1 \~\]# vmset.sh eth0 192.168.0.20 RS1 noroute \[root@RS1 \~\]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100 \[root@RS1 \~\]# nmcli connection reload \[root@RS1 \~\]# nmcli connection up eth0 \[root@RS1 \~\]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 #设定访问业务真实数据 \[root@RS1 \~\]# dnf install httpd -y \[root@RS1 \~\]# systemctl enable --now httpd \[root@RS1 \~\]# echo RS2 - 192.168.0.20 \> /var/www/html/index.html 在VS主机中测试环境 \[root@vsnode \~\]# curl 192.168.0.10 RS1 - 192.168.0.10 \[root@vsnode \~\]# curl 192.168.0.20 RS2 - 192.168.0.20  NAT模式实现方法 #1,开启内核路由功能 \[root@vsnode \~\]# echo net.ipv4.ip_forward=1 \>\> /etc/sysctl.conf \[root@vsnode \~\]# sysctl -p net.ipv4.ip_forward = 1 #2.编写策略 \[root@vsnode \~\]# ipvsadm -C \[root@vsnode \~\]# ipvsadm -A -t 172.25.254.100:80 -s wrr \[root@vsnode \~\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1 \[root@vsnode \~\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1 \[root@vsnode \~\]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.254.100:80 wrr -\> 192.168.0.10:80 Masq 1 0 0 -\> 192.168.0.20:80 Masq 1 0 0  #测试 \[root@vsnode \~\]# for i in {1..10};do curl 172.25.254.100;done RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 #更改权重 \[root@vsnode \~\]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2 \[root@vsnode \~\]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.254.100:80 wrr -\> 192.168.0.10:80 Masq 2 0 5 -\> 192.168.0.20:80 Masq 1 0 5 #测试 \[root@vsnode \~\]# for i in {1..10};do curl 172.25.254.100;done RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 RS1 - 192.168.0.10 RS1 - 192.168.0.10 RS2 - 192.168.0.20 规则持久化 实验过程可以用过打开另外一个shell的并执行监控命令的方式进行观察 \[root@vsnode \~\]# watch -n 1 ipvsadm -Ln #利用自定义文件进行持久化 \[root@vsnode \~\]# ipvsadm-save -n -A -t 172.25.254.100:80 -s wrr -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2 -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1 \[root@vsnode \~\]# ipvsadm-save -n \> /mnt/ipvs.rule \[root@vsnode \~\]# ipvsadm -C \[root@vsnode \~\]# ipvsadm-restore \< /mnt/ipvs.rule  #利用守护进程进行规则持久化 \[root@vsnode \~\]# ipvsadm-save -n \> /etc/sysconfig/ipvsadm \[root@vsnode \~\]# ipvsadm -C \[root@vsnode \~\]# systemctl enable --now ipvsadm.service Created symlink /etc/systemd/system/multi-user.target.wants/ipvsadm.service → /usr/lib/systemd/system/ipvsadm.service.  2.DR模式实验   #在路由器中 \[root@router \~\]# systemctl disable --now ipvsadm.service Removed "/etc/systemd/system/multi-user.target.wants/ipvsadm.service". \[root@router \~\]# ipvsadm -C #在路由器中 \[root@router \~\]# vmset.sh eth0 172.25.254.100 vsnode \[root@router \~\]# vmset.sh eth1 192.168.0.100 vsnode noroute、 #设定内核路由功能 \[root@router \~\]# echo net.ipv4.ip_forward=1 \>\> /etc/sysctl.conf \[root@router \~\]# sysctl -p net.ipv4.ip_forward = 1 #数据转发策略 \[root@router \~\]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100 \[root@vsnode \~\]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.100 #vsnode 调度器 \[root@vsnode \~\]# vmset.sh eth0 192.168.0.200 vsnode noroute \[root@vsnode \~\]# vim /etc/NetworkManager/system-connections/eth0.nmconnection \[connection
id=eth0
type=ethernet
interface-name=eth0
ipv4
method=manual
address1=192.168.0.200/24,192.168.0.100
address2=192.168.0.50/24

#检测
root@vsnode system-connections]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
root@vsnode system-connections\]# ip a
1: lo: \
id=lo
type=loopback
interface-name=lo
ethernet
ipv4
address1=127.0.0.1/8
address2=192.168.0.200/32
method=manual
[root@RS1 system-connections]# nmcli connection reload
root@RS1 system-connections\]# nmcli connection up lo
连接已成功激活(D-Bus 活动路径:/org/freedesktop/NetworkManager/ActiveConnection/6)
\[root@RS1 system-connections\]# ip a
1: lo: \
1.在rs主机中同时开始http和https两种协议
#在RS1和RS2中开启https
root@RS1+RS2 \~\]# dnf install mod_ssl -y \[root@RS1+RS2 \~\]# systemctl restart httpd \[root@RS1+RS2 \~\]# systemctl restart httpd 2.在vsnode中添加https的轮询策略 root@vsnode boot\]# ip\^Cadm -A -t 192.168.0.200:80 -s rr \[root@vsnode boot\]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g \[root@vsnode boot\]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g \[root@vsnode boot\]# ipvsadm -A -t 192.168.0.200:443 -s rr \[root@vsnode boot\]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g \[root@vsnode boot\]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g  3.轮询错误展示  #当上述设定完成后http和https是独立的service,轮询会出现重复问题 解决方案:使用火墙标记访问vip的80和443的所有数据包,设定标记为6666,然后对此标记进行负载 \[root@vsnode boot\]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666 \[root@vsnode boot\]# ipvsadm -A -f 6666 -s rr \[root@vsnode boot\]# ipvsadm -a -f 6666 -r 192.168.0.10 -g \[root@vsnode boot\]# ipvsadm -a -f 6666 -r 192.168.0.20 -g #测试:在客户端 \[root@client \~\]# curl 192.168.0.200;curl -k https://192.168.0.200  4.利用持久连接实现会话粘滞 在我们客户上网过程中有很多情况下需要和服务器进行交互,客户需要提交响应信息给服务器,如果单纯的进行调度会导致客户填写的表单丢失,为了解决这个问题我们可以用sh算法,但是sh算法比较简单粗暴,可能会导致调度失衡 解决方案 在进行调度时,不管用什么算法,只要相同源过来的数据包我们就把他的访问记录在内存中,也就是把这个源的主机调度到了那个RS上 如果在短期(默认360S)内同源再来访问我仍然按照内存中记录的调度信息,把这个源的访问还调度到同一台RS上。 如果过了比较长的时间(默认最长时间360s)同源访问再次来访,那么就会被调度到其他的RS 1.设定ipvs调度策略 \[root@vsnode \~\]# ipvsadm -A -f 6666 -s rr -p 1 \[root@vsnode \~\]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -\> RemoteAddress:Port Forward Weight ActiveConn InActConn FWM 6666 rr persistent 1 -\> 192.168.0.10:0 Route 1 0 0 -\> 192.168.0.20:0 2,测试: \[root@client \~\]# curl 192.168.0.200 RS1 - 192.168.0.10 \[root@client \~\]# curl 192.168.0.200 RS1 - 192.168.0.10 3.观察 \[root@vsnode \~\]# watch -n 1 ipvsadm -Lnc 