1.集群与集群的分类
集群：集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统
集群常见的三种类型：
LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问
HA：High Availiablity（高可用）SPOF（single Point Of failure）
MTBF:Mean Time Between Failure 平均无故障时间，正常时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间
A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
SLA ：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服
务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在
常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一
些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。
停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外
停机时间
HPC：High-performance computing（高性能计算，国家战略资源，不在课程范围内）
2. LVS运行原理
LVS ：Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基于LVS+keepalived实现
LVS相关术语：
- VS: Virtual Server，负责调度
- RS:RealServer，负责真正提供服务
LVS工作原理： VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
2.1 LVS概念
- VS：Virtual Server（调度器）
- RS：Real Server （真实业务主机）
- CIP：Client IP （客户端主机的ip）
- VIP: Virtual serve IP VS外网的IP （对外开放的让客户访问的ip）
- DIP: Director IP VS内网的IP （调度器负责访问内网的ip）
- RIP: Real server IP （真实业务主机IP）
访问流程：CIP <--> VIP == DIP <--> RIP
3.LVS的四种模式
3.1 nat模式
Ivs-nat:
- 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和
- PORT实现转发
- RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP
- 请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
- 支持端口映射，可修改请求报文的目标PORT
- VS必须是Linux系统，RS可以是任意OS系统
3.2 DR****模式
DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源 IP/PORT，以及目标IP/PORT均保持不变
DR****模式的特点：
- Director和各RS都配置有VIP
- 确保前端路由器将目标IP为VIP的请求报文发往Director
- 在前端网关做静态绑定VIP和Director的MAC地址
- RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；
- RIP的网关不能指向DIP，以确保响应报文不会经由Director
- RS和Director要在同一个物理网络
- 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
- 不支持端口映射（端口不能修败）
- RS可使用大多数OS系统
3.3 TUN****模式
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部 （源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP 是CIP）
TUN****模式特点：
- DIP, VIP, RIP都应该是公网地址
- RS的网关一般不能指向DIP
- 请求报文要经由Director，但响应不能经由Director
- 不支持端口映射
- RS的OS须支持隧道功能
3.4 fullnet****模式
fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
fullnet模式特点：
- VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
- RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
- 请求和响应报文都经由Director
- 支持端口映射
3.5 LVS****工作模式总结
| NAT****模式 | TUN****模式 | DR****模式 | |
|---|---|---|---|
| RS操作系统 | 不限 | 支持隧道 | 禁用arp |
| 调度器和服务器网络 | 可跨网络 | 可跨网络 | 不可跨网络 |
| 调度服务器数量服务器数量 | 少 | 多 | 多 |
| RS服务器网关 | 指向到调度器DIP | 指向路由 | 指向路由 |
- lvs-nat与lvs-fullnat：请求和响应报文都经由Director
- lvs-nat：RIP的网关要指向DIP
- lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
- lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
- lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
- lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
4.LVS调度算法
4.1 LVS调度算法类型
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度，不考虑RS的负载情况
动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
4.2 LVS静态调度算法
- RR ：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐
- WRR ：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少
- SH ：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
- DH ：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
4.3 lvs****动态调度算法
主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度
1、LC ：least connections（最少链接发）
适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活
动链接数）
2、WLC ：Weighted LC（权重最少链接）
默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
3、SED ：Shortest Expection Delay,
初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight
但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接
4、NQ ：Never Queue，第一轮均匀分配，后续SED
5、LBLC ：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR ：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
4.4 混合算法
1.FO(Weighted Fai Over) 调度算法：常用作灰度发布
在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。
2.OVF(Overflow-connection)调度算法： 基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:
- 未过载(未设置IP_VS_DEST_F OVERLOAD标志)
- 真实服务器当前的活动连接数量小于其权重值
- 其权重值不为零
5.LVS实验环境的部署
5.1 lvs的安装
bash
[root@lvs-server ~]# dnf install ipvsadm.x86_64 -y5.2 lvs软件相关信息
- 程序包：ipvsadm
- Unit File: ipvsadm.service
- 主程序：/usr/sbin/ipvsadm
- 规则保存工具：/usr/sbin/ipvsadm-save
- 规则重载工具：/usr/sbin/ipvsadm-restore
- 配置文件：/etc/sysconfig/ipvsadm-config
- ipvs调度规则文件：/etc/sysconfig/ipvsadm
5.3 ipvsadm命令
核心功能:
- 集群服务管理:增、删、改
- 集群服务的RS管理:增、删、改
- 查看
5.3.1管理集群服务中的增删改
开启监控
bash
[root@lvs-server ~]# watch -n 1 ipvsadm -Ln命令操作
bash
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法，默认为WLC
-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver
-f #firewall mask 火墙标记，是一个数字
bash
#设定服务器vip，端口及调度算法
[root@lvs-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
#指定使用防火墙标记来进行轮询
[root@lvs-server ~]# ipvsadm -A -f 66 -p 3000
#更改权重
[root@lvs-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr
#删除
[root@lvs-server ~]# ipvsadm -D -f 665.3.1 管理集群中RealServer的增删改
bash
-a #添加realserver
-e #更改realserver
-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate ：输出速率信息
bash
#增加
[root@lvs-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10 -m
[root@lvs-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20 -m
#修改
[root@lvs-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.10 -w 2 -m
[root@lvs-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.20 -w 5 -i
#删除
[root@lvs-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.20
[root@lvs-server ~]# ipvsadm -C
#查看
[root@lvs-server ~]# ipvsadm -Ln5.4 lvs策略保存
5.4.1 用自定义文件保存策略
bash
#策略的配置
[root@lvs-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@lvs-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10 -m
[root@lvs-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20 -m
[root@lvs-server ~]# ipvsadm-save
-A -t lvs-server:http -s rr
-a -t lvs-server:http -r 192.168.0.10:http -m -w 1
-a -t lvs-server:http -r 192.168.0.20:http -m -w 1
#策略的保存
[root@lvs-server ~]# ipvsadm-save > /mnt/haha
[root@lvs-server ~]# ipvsadm -C
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
#恢复
[root@lvs-server ~]# ipvsadm-restore < /mnt/haha
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.100:80 rr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 05.4.2 ipvs策略开机生效方式
开机后策略自动生效
bash
[root@lvs-server ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@lvs-server ~]# systemctl enable --now ipvsadm.service
reboot
#重启后仍然生效
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.100:80 rr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 06. NAT模式的设定
6.1 NAT环境配置
实验环境需要三台主机设备
LVS： eth0（nat模式）：172.25.254.100 eth1（仅主机模式）：192.168.0.100
RS1：eth0（仅主机模式）：192.168.0.10 网关：192.168.0.100
RS2：eth0（仅主机模式）：192.168.0.20 网关：192.168.0.100
注意：在实验开始前每一台都要将防火墙关掉，不然无法找到路由
bash
#查看防火墙的状态
[root@RS2 ~]# systemctl status firewalld.service
#关闭防火墙
[root@RS2 ~]# systemctl stop firewalld.service LVS调度器中:
bash
[root@LVS ~]# vmset.sh eth0 172.25.254.100 vsnode
[root@LVS ~]# vmset.sh eth1 192.168.0.100 vsnode noroute
[root@LVS ~]# dnf install ipvsadm-1.31-6.el9.x86_64 -yRS1:
bash
[root@RS1 ~]# vmset.sh eth0 192.168.0.10 RS1 noroute
[root@RS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100
[root@RS1 ~]# nmcli connection reload
[root@RS1 ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）
[root@RS1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
#设定访问业务真实数据
[root@RS1 ~]# dnf install httpd -y
[root@RS1 ~]# systemctl enable --now httpd
[root@RS1 ~]# echo 192.168.0.10 RS1 > /var/www/html/index.htmlRS2
bash
#设定网络
[root@RS1 ~]# vmset.sh eth0 192.168.0.20 RS1 noroute
[root@RS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100
[root@RS1 ~]# nmcli connection reload
[root@RS1 ~]# nmcli connection up eth0
[root@RS1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
#设定访问业务真实数据
[root@RS1 ~]# dnf install httpd -y
#开机自启动
[root@RS1 ~]# systemctl enable --now httpd
[root@RS1 ~]# echo 192.168.0.20 RS2 > /var/www/html/index.html6.2 NAT模式实现方法
LVS
bash
#开启内核路由功能
[root@LVS ~]# echo net.ipv4.ip_forward=1 > /etc/sysctl.conf
[root@LVS ~]# sysctl -p
net.ipv4.ip_forward = 1
#编写策略
[root@LVS ~]# ipvsadm -A -t 172.25.254.100:80 -s wrr
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10 -m -w 1
[root@LVS ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20 -m -w 1
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 0
#测试------保证LVS是可达后端服务器
[root@LVS ~]# for i in {1..10};do curl 172.25.254.100;done
192.168.0.10 RS1
192.168.0.20 RS2
192.168.0.10 RS1
192.168.0.20 RS2
192.168.0.10 RS1
192.168.0.20 RS2
192.168.0.10 RS1
192.168.0.20 RS2
192.168.0.10 RS1
192.168.0.20 RS27.DR模式实验过程
7.1 DR模式环境配置
路由器（router）： eth0（nat模式）：172.25.254.100 eth1（仅主机模式）：192.168.0.100
LVS：eth0（仅主机模式）：192.168.0.50
RS1：eth0（仅主机模式）：192.168.0.10 网关：192.168.0.100
RS2：eth0（仅主机模式）：192.168.0.20 网关：192.168.0.100
客户端（client）：eth0（nat）172.25.254.99
路由器
bash
#在路由器中
[root@router ~]# systemctl disable --now ipvsadm.service
Removed "/etc/systemd/system/multi-user.target.wants/ipvsadm.service".
[root@router ~]# ipvsadm -C
#在路由器中
[root@router ~]# vmset.sh eth0 172.25.254.100 vsnode
[root@router ~]# vmset.sh eth1 192.168.0.100 vsnode noroute、
#设定内核路由功能
[root@router ~]# echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1
#数据转发策略
[root@router ~]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100
[root@vsnode ~]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.100LVS调度器中
bash
#vsnode 调度器
[root@vsnode ~]# vmset.sh eth0 192.168.0.50 vsnode norouter
[root@vsnode ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=192.168.0.50/24
gateway=192.168.0.100
[root@vsnode ~]# cd /etc/NetworkManager/system-connections/
#复制eth0的内容及权限
[root@vsnode system-connections]# cp -p eth0.nmconnection lo.nmconnection
[root@vsnode system-connections]# vim lo.nmconnection
[connection]
id=lo
type=loopback
interface-name=lo
[ipv4]
method=manual
address1==127.0.0.1/8
address2=192.168.0.200/32
[root@RS1 system-connections]# nmcli connection reload
[root@RS1 system-connections]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7）
[root@RS1 system-connections]# nmcli connection up lo
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/8）
#检测
root@vsnode system-connections]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
[root@vsnode system-connections]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.0.200/32 brd 192.168.0.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:41:e5:8b brd ff:ff:ff:ff:ff:ff
altname enp3s0
altname ens160
inet 192.168.0.50/24 brd 192.168.0.255 scope global secondary noprefixroute eth0
valid_lft forever preferred_lft forever
inet6 fe80::e40:8975:6b9:fea8/64 scope link noprefixroute
valid_lft forever preferred_lft forever对于lo无法起效问题的解决：
bash
如果遇到上的配置无法成功
第一步先看权限是否争取 直接ll就能看
第二步看配置是否正确
第三步看网卡连接,如果有重复则删掉
[root@zhu system-connections]# nmcli connection show
[root@zhu system-connections]# nmcli connection show
NAME UUID TYPE DEVICE
eth0 729c6956-bc25-407f-971c-a7f5be9dacdd ethernet eth0
lo 9659fd13-767c-4857-94f7-8ecd57662225 loopback lo #删除这个正在运行的
eth1 0b494c83-9bbc-42da-89ac-c9b7a4fa8149 ethernet --
lo b2baf1f3-48fa-398c-a8e1-e2e1f6a15e21 loopback --
[root@zhu system-connections]# nmcli connection delete uuid 9659fd13-767c-4857-94f7-8ecd57662225
成功删除连接 "lo" (9659fd13-767c-4857-94f7-8ecd57662225)。RS1（RS2相同）
bash
#RS1
[root@RS1 ~]# vmset.sh eth0 192.168.0.10 RS1 noroute
[root@RS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100
[root@RS1 ~]# nmcli connection reload
[root@RS1 ~]# nmcli connection up eth0
[root@RS1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0
192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
#在lo上设定vip
[root@RS1 ~]# cd /etc/NetworkManager/system-connections/
[root@RS1 system-connections]# cp -p eth0.nmconnection lo.nmconnection
[root@RS1 system-connections]# vim lo.nmconnection
[connection]
id=lo
type=loopback
interface-name=lo
[ethernet]
[ipv4]
address1=127.0.0.1/8
address2=192.168.0.200/32
method=manual
[root@RS1 system-connections]# nmcli connection reload
[root@RS1 system-connections]# nmcli connection up lo
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）
[root@RS1 system-connections]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.0.200/32 scope global lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
#arp禁止响应------防止后端服务器都响应导致混乱
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce客户端
bash
客户端
[root@client ~]# vmset.sh eth0 172.25.254.99 client norouter
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
method=manual
address1=172.25.254.99/24
gateway=172.25.254.100
dns=8.8.8.8;
[root@client ~]# nmcli connection reload
[root@client ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）
[root@client ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 172.25.254.100 0.0.0.0 UG 100 0 0 eth0
172.25.254.0 0.0.0.0 255.255.255.0 U 100 0 0 eth07.2 实验的验证
bash
#检测
[root@client ~]# ping 192.168.0.200
PING 192.168.0.200 (192.168.0.200) 56(84) 比特的数据。
64 比特，来自 192.168.0.200: icmp_seq=1 ttl=128 时间=1.08 毫秒8.利用火墙标记解决轮询错误
在rs主机中同时开始http和https两种协议
bash
#在RS1和RS2中开启https
[root@RS1+RS2 ~]# dnf install mod_ssl -y
[root@RS1+RS2 ~]# systemctl restart httpd在vsnode中添加https的轮询策略
bash
root@vsnode boot]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g
[root@vsnode boot]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g
[root@vsnode boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 rr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 1 0 0
TCP 192.168.0.200:443 rr
-> 192.168.0.10:443 Route 1 0 0
-> 192.168.0.20:443 轮询错误展示
bash
[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200
RS2 - 192.168.0.20
RS2 - 192.168.0.20
#当上述设定完成后http和https是独立的service，轮询会出现重复问题解决方案：使用火墙标记访问vip的80和443的所有数据包，设定标记为6666，然后对此标记进行负载
bash
[root@vsnode boot]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666
[root@vsnode boot]# ipvsadm -A -f 6666 -s rr
[root@vsnode boot]# ipvsadm -a -f 6666 -r 192.168.0.10 -g
[root@vsnode boot]# ipvsadm -a -f 6666 -r 192.168.0.20 -g
#测试：在客户端
[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200
RS2 - 192.168.0.20
RS1 - 192.168.0.109.利用持久连接实现会话粘滞
设定ipvs调度策略
bash
[root@vsnode ~]# ipvsadm -E -f 6666 -s rr -p 1
[root@vsnode ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 6666 rr persistent 1
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0 测试
bash
[root@client ~]# curl 192.168.0.200
RS1 - 192.168.0.10
[root@client ~]# curl 192.168.0.200
RS1 - 192.168.0.10
#观察
root@vsnode ~]# watch -n 1 ipvsadm -Lnc
IPVS connection entries
pro expire state source virtual destination
TCP 01:56 FIN_WAIT 172.25.254.99:42420 192.168.0.200:80 192.168.0.20:80
IP 00:57 ASSURED 172.25.254.99:0 0.0.26.10:0 192.168.0.20:0
TCP 01:54 FIN_WAIT 172.25.254.99:46216 192.168.0.200:80 192.168.0.20:80
TCP 01:55 FIN_WAIT 172.25.254.99:46222 192.168.0.200:80 192.168.0.20:80