一.集群和分布式:
集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务
分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率,
对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败
二.LVS 介绍
定义 ：
LVS 是基于 Linux 内核的四层（传输层）负载均衡解决方案，由章文嵩博士开发，用于构建高性能、高可用的服务器集群。
核心组件：
-
Director（调度器）：接收客户端请求并分发到后端 Real Server。
-
Real Server（真实服务器）：实际处理请求的后端服务器集群------真正提供服务
-
**VS：Virtual Server：**虚拟服务器------负责调度
-
VIP（虚拟 IP）：对外提供服务的虚拟 IP 地址。
-
RIP（真实 IP）：后端服务器的真实 IP 地址。
-
CIP：Client IP
工作原理：
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
访问流程：CIP VIP == DIP RIP
官网 ：The Linux Virtual Server Project - Linux Server Cluster for Load Balancing
http://www.linuxvirtualserver.org/lvs集群体系结构
LVS的三种工作模式
NAT
Ivs-nat:
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP
请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈支持端口映射，可修改请求报文的目标PORT
VS必须是Linux系统，RS可以是任意OS系统
NAT模式的工作流程
1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）
4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞
图解
客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。
DR**（直接路由）**
DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源 IP/PORT，以及目标IP/PORT均保持不变
核心原理
-
数据包处理：
-
请求阶段 ：Director 仅修改请求报文的 目标 MAC 地址（不修改 IP），将请求转发给 RS。
-
响应阶段 ：RS 直接返回响应给客户端（不经过 Director），源 IP 为 VIP。
-
-
关键要求：
-
Director 和 RS 必须在 同一物理网络（二层可达）。
-
RS 需配置 VIP 并抑制 ARP 响应，避免地址冲突。
-
DR模式数据传输过程
1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC
2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端 的MAC+VIP+RS1的MAC
3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的 MAC
图解
DR模式的特点：
- 转发高效：Director 仅改目标 MAC ，不改 IP ，转发请求快。
- 响应直接：RS 处理完直接回客户端，无需经 Director ，延迟低。
- 同层限制：Director 和 RS 得在同一物理网络（二层可达） 。
- VIP 配置：RS 要配 VIP 且抑制 ARP ，避免地址冲突。
- 负载轻量：Director 只负责分请求，RS 直接回客户端，双方压力小。
- 易扩展高可用：可灵活加 RS ，一台故障不影响，服务稳。
- **端口不改：**不支持端口映射（端口不能修改）
TUN------仅了解
转发方式：
不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部 （源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP 是CIP）
TUN模式数据传输过程：
TUN模式特点
1.DIP, VIP, RIP都应该是公网地址
2.RS的网关一般不能指向DIP
3.请求报文要经由Director，但响应不能经由Director
4.不支持端口映射
5.RS的OS须支持隧道功能
|------------------------|-------------------|---------------|--------------------------------|
| 模式 | 原理 | 优点 | 缺点 |
| NAT | 修改数据包的IP/端口 | 支持端口映射，配置简单 | Director 易成瓶颈 |
| DR（Direct Routing） | 仅修改 MAC 地址，不修改 IP | 性能极高（90% 吞吐量） | 要求 Real Server 与 Director 同局域网 |
| TUN（IP 隧道） | 通过 IP 隧道封装数据包 | 可跨机房部署 | 配置复杂，隧道开销高 |
[LVS三种工作模式对比]
关键区别：
-
NAT/FullNAT：请求和响应均经过Director。
-
DR/TUN：仅请求报文经过Director，响应报文由RS直接返回客户端。
vs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
LVS调度算法
LVS支持多种调度算法，分为静态和动态两类：
1. 静态算法（不考虑RS负载）
-
RR（轮询）：均分请求到各RS。（你一个，我一个） ------适用场景：Real Server 性能均等
-
WRR（加权轮询）：根据RS性能分配权重。（你比我厉害，你两个，我一个） ------适用场景：Real Server 配置不均
-
SH（源地址哈希）：同一客户端固定访问同一RS（会话保持）。 ------适用场景：需要会话保持的应用
-
**DH：**Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
2. 动态算法（基于RS负载状态）
-
LC（最少连接）：优先选择连接数最少的RS。 ------适用场景：长连接服务（如数据库）
-
WLC（加权最少连接）：默认算法，结合权重和连接数。 ------适用场景：Real Server 性能均等，但需动态平衡 "连接数"，避免节点过载。
-
SED（最短预期延迟）：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接。------适用场景：需要精确控制响应时间的服务
-
NQ：Never Queue，第一轮均匀分配，后续SED。------适用场景：对延迟敏感的应用
-
SED/NQ ：优化高权重节点的初始连接分配。 ------适用场景：Real Server 性能均等，但需 "优先让高权重节点承接初始连接"（哪怕连接数稍多 ），或需 "初始流量倾斜"。
-
LBLC（基于局部性的最少连接）：Locality-Based LC，动态的DH算法，结合目标地址和最少连接的算法。------适用场景：根据负载状态实现正向代理
-
LBLCR（带复制的基于局部性的最少连接）：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制 到负载轻的RS。------适用场景：高访问量的缓存服务
算法选择建议：
-
一般Web服务：wlc 或 wrr
-
需要会话保持：sh 或 dh
-
缓存服务器：lblc 或 lblcr
-
高并发长连接：lc 或 wlc
-
低延迟要求：sed 或 nq
4.15版本内核以后新增调度算法
FO(Weighted Fai Over)调度算法：常用作灰度发布
让用户帮助企业测试其服务器有没有问题，
在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度
当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度 器就不会把链接调度到有过载标记的主机中。
OVF(Overflow-connection)调度算法
基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动 连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关 联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条 件:
1.未过载(未设置IP_VS_DEST_F OVERLOAD标志)
2.真实服务器当前的活动连接数量小于其权重值
3.其权重值不为零
lvs命令介绍
lvs软件相关信息
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm
ipvsadm命令------LVS 集群管理工具
ipvsadm 是 Linux Virtual Server (LVS) 的管理工具，用于配置和监控内核中的 IPVS（IP Virtual Server）模块。主要功能包括：
-
管理虚拟服务（VS）：定义 VIP 和端口。
-
管理真实服务器（RS）：添加、删除、修改后端节点。
-
设置调度算法：如轮询（rr）、加权最小连接（wlc）等。
-
查看连接状态：实时监控请求分发情况。
管理集群服务
ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \
service-address(集群地址) \
-s scheduler(调度算法)\] \\ \[-p \[timeout\]\] \\ \[-M netmask\] \\ \[--pepersistence_engine\] \\ \[-b sched-flags
ipvsadm -D -t|u|f service-address 删除
ipvsadm --C 清空
ipvsadm --R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器
lvs集群中的增删改
1.管理集群服务中的增删改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法，默认为WLC
-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记，是一个数字
形式
#增加
root@DR-server \~\]# ipvsadm -A -t 172.25.254.100:80 -s rr \[root@DR-server \~\]# ipvsadm -A -f 66 -p 3000 #修改 \[root@DR-server \~\]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000 #删除 \[root@DR-server \~\]# ipvsadm -D -t 172.25.254.100:80\[root@DR-server \~\]# ipvsadm -D -f 66
2.管理集群中RealServer的增删改
-a #添加realserver
-e #更改realserver-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate #输出速率信息
形式
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
#添加
root@DR-server \~\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m \[root@DR-server \~\]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2 #更改 \[root@DR-server \~\]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1 \[root@DR-server \~\]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1 #删除 \[root@DR-server \~\]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30 \[root@DR-server \~\]# ipvsadm -Ln \[root@DR-server \~\]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -\> RemoteAddress:Port TCP 172.25.254.100:80 0 0 0 0 0 -\> 192.168.0.30:80 0 0 0 0 0 -\> 192.168.0.40:80 0 0 0 0 0 \[root@DR-server \~\]# ipvsadm -C ------清空所有策略 \[root@DR-server \~\]# ipvsadm -Z -t 172.25.254.20:80 \[root@DR-server \~\]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -\> RemoteAddress:Port TCP 172.25.254.20:80 0 0 0 0 0 -\> 192.168.0.30:80 0 0 0 0 0 -\> 192.168.0.40:80 0 0 0 0 0
ipvs的备份及恢复
添加的策略：
进行备份和删除：
恢复刚才备份的策略：
将策略进行开机自启动配置
NAT模式集群实验：
实验环境
|--------|------------------------------|----------------|-----------|
| 主机名 | IP | VIP | 角色 |
| lvs | 192.168.0.100 | 172.25.254.100 | 调度器（VS） |
| RS1 | 192.168.0.10，GW192.168.0.100 | null | 真实服务器（RS） |
| RS2 | 192.168.0.20，GW192.168.0.100 | null | 真实服务器（RS） |
| client | 172.25.254.111 | | 测试机 |
注：
此实验要关闭火墙然后网页里要写内容
systemctl disable --now firewalld.service
echo 20 > /var/www/html/index.html
实验开始：
1.在lvs中启用内核路由功能
bash
]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf
]# sysctl --system2.在node1中安装ipvsadm
bash
]# yum install ipvsadm -y3.在node1中添加调度策略
bash
# ipvsadm -A -t 172.25.254.100:80 -s rr
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m4.查看策略
bash
ipvsadm -Ln
5.保存策略
bash
ipvsadm -Sn
6.删除所有策略
bash
ipvsadm -C
7.重新加载策略
bash
]# ipvsadm -R < /etc/sysconfig/ipvsadm-config
]# ipvsadm -Ln
8.以上操作均为临时，如果想开机启动，就得设置
bash
]# systemctl enable --now ipvsadm.service9.测试：
bash
for N in {1..6};do curl 172.25.254.100;done
DR实验：
|--------|--------------------------------------------|---------------------|---------|
| 主机名 | IP | VIP | 角色 |
| client | NAT：172.25.254.66 | null | 测试主机 |
| router | NAT1：72.25.254.100/24 仅主机：192.168.0.100/24 | null | 路由器 |
| lvs | 仅主机：192.168.0.200/24 192.168.0.220/24 | lo：192.168.0.220/32 | 调度器 |
| RS1 | 仅主机：192.168.0.10 gatway：192.168.0.100 | lo：192.168.0.220/32 | web服务器1 |
| RS2 | 仅主机：192.168.0.20/24 gatway：192.168.0.100 | lo：192.168.0.220/32 | web服务器2 |
[### 实验环境]
bash
client主机
NAT-eth0
address=172.25.254.66/24,172.25.254.100
route主机
NAT-eth0
address=172.25.254.100/24
仅主机-eth1
address1=192.168.0.100/24
lvs主机
仅主机-eth0
address1=192.168.0.200/24,192.168.0.100
address2=192.168.0.220/24
lo环回接口：
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32
RS1主机
仅主机-eth0
address=192.168.0.10/24,192.168.0.100
lo环回接口：
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32
RS2主机
仅主机-eth0
address=192.168.0.20/24,192.168.0.100
lo环回接口：
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32route主机中要开启内核路由功能 和火墙以运行路由策略：
bash
]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf
]# sysctl -p
**注：**该实验需要关闭lvs主机和两台RS主机的火墙，实验环境可以直接关闭lvs主机和两台RS主机的火墙
确保每台主机ping都可以互相通信，以及VIP不对外响应，则实验环境就搭好了。
解决VIP响应问题：
DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
(1)在前端网关做静态绑定
(2)在各RS使用arptables
(3)在各RS修改内核参数，来限制arp响应和通告的级别
限制响应级别:arp_ignore
0:默认值，表示可使用本地任意接口上配置的任意地址进行响应
1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
限制通告级别:arp_announce
0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1:尽量避免将接口信息向非直接连接网络进行通告
2:必须避免将接口信息向非本网络进行通告
在lvs中配置策略：
测试：
防火墙标签解决轮询错误实验：
以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出 现了一个轮询错乱的问题
当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上
问题呈现
bash
在RS1和RS2中安装mod_ssl并重启apache
]# yum install mod_ssl -y
]# systemctl restart httpd
在lvs中设置调度，因为我们要调度80和443两个端口所以我们需要设定两组策略
]# ipvsadm -C
[root@lvs ~]# ipvsadm -A -t 192.168.0.100:80 -s rr
[root@lvs ~]# ipvsadm -A -t 192.168.0.100:443 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.20:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.20:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.100:80 rr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 1 0 0
TCP 192.168.0.100:443 rr
-> 192.168.0.10:443 Route 1 0 0
-> 192.168.0.20:443 Route 1 0 0
测试问题
[root@client ~]# curl http://192.168.0.100;curl -k https://192.168.0.100
10
10
当访问vip时两次调度都到了10
防火墙标记解决轮询调度问题
FWM:FireWall Mark
MARK target 可用于给特定的报文打标记, --set-mark value
其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服 务:可将多个不同的应用使用同一个集群服务进行调度
实现方法：
在Director主机打标记:
bash
iptables -t mangle -A PREROUTING -d $vip -p $proto -m multiport --dports
$portl,$port2,..-i MARK --set-mark NUMBER在Director主机基于标记定义集群服务:
bash
ipvsadm -A -f NUMBER [options]示例如下：
bash
在vs调度器中设定端口标签，人为80和443是一个整体
]# iptables -t mangle -A PREROUTING -d 192.168.0.100 -p tcp -m multiport --dports
80,443 -j MARK --set-mark 666
设定调度规则
[root@lvs ~]# ipvsadm -A -f 666 -s rr
[root@lvs ~]# ipvsadm -a -f 666 -r 192.168.0.10 -g
[root@lvs ~]# ipvsadm -a -f 666 -r 192.168.0.20 -g
测试结果：
bash
[root@client ~]# curl -k https://192.168.0.100;curl 192.168.0.100
10
20