- 集群概念
- lvs模型
- lvs调度算法
- lvs实现
- lvs高可用性，负载均衡
1 集群和分布式
系统性能扩展方式：
- Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务 升级单机的硬件设备
- Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster
垂直扩展不再提及：
随着计算机性能的增长，其价格会成倍增长
单台计算机的性能是有上限的，不可能无限制地垂直扩展，多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？
1.1 集群 Cluster
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Cluster分为三种类型：
- LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求
- HA： High Availiablity，高可用，避免 SPOF（single Point Of failure 单点故障）
- HPC： High-performance computing，高性能
高可用集群（High Availability Cluster）
- 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA)的容错效果
- HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线;主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点例如，"故障切换" "双机热备"等
高性能运算集群（High Performance Computer Cluster）
-
以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力
-
高性能依赖于"分布式运算"、"并行计算"，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如，"云计算""网格计算"等
MTBF:Mean Time Between Failure 平均无故障时间，正常时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间
A = MTBF /（MTBF+MTTR） (0,1)：99%,99.5%,99.9%,99.99%,99.999%SLA：服务等级协议（简称：SLA，全称：service level agreement）。是在一定开销下为保障服
务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服
务质量的主要因素。在常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这
种水平的时候，就会有一些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。1年 = 365天 = 8760小时
90 = (1-90%)365=36.5天
99 = 8760 * 1% = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟
99.9999= (1-99.9999%)3652460*60=31秒#停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外停机时间。
调度算法：
#轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均 等地对待每台服务器，
而不管服务器实际的连接数和系统负载。
#加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重 值高的节点优先获得
任务并且分配的请求越多，这样可以保证性能高的节点承担更 多请求。
#最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收 到的访问请求优先
分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载。
#加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大的 情况下，调度器可以
根据节点服务器负载自动调整权重，权重较高的节点将承担更 大比例的活动连接负载。
#IP_Hash根据请求来源的IP地址进行Hash计算，得到后端服务器，这样来自同一个IP的请求总是会落到
同一台服务器上处理，以致于可以将请求上下文信息存储在这个服务器上，
#url_hash 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时
比较有效。具体没研究过
#fair采用的不是内建负载均衡使用的轮换的均衡算法，而是可以根据页面大小、加载时间长短智能的进行
负载均衡。也就是根据后端服务器时间来分配用户请求，响应时间短的优先分配
1.2 分布式系统
分布式存储：Ceph，GlusterFS，FastDFS，MogileFS
分布式计算：hadoop，Spark
分布式常见应用
- 分布式应用-服务按照功能拆分，使用微服务（单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值服务）
- 分布式静态资源--静态资源放在不同的存储集群上
- 分布式数据和存储--使用key-value缓存系统
- 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群
1.3 集群和分布式
集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。
分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。
分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败
1.4 集群设计原则
可扩展性---集群的横向扩展能力
可用性---无故障时间 (SLA service level agreement)
性能---访问响应时间
容量---单位时间内的最大并发吞吐量(C10K 并发问题)
1.5 集群设计实现
1.5.1 基础设施层面
- 提升硬件资源性能---从入口防火墙到后端 web server 均使用更高性能的硬件资源
- 多域名---DNS 轮询A记录解析
- 多入口---将A记录解析到多个公网IP入口
- 多机房---同城+异地容灾
- CDN(Content Delivery Network)---基于GSLB(Global Server Load Balance)实现全局负载均衡，如：DNS
1.5.2 业务层面
- 分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
- 分割：基于功能分割大业务为小服务
- 分布式：对于特殊场景的业务，使用分布式计算
1.6 LB Cluster 负载均衡集群
1.6.1 按实现方式划分
- 硬件
F5 Big-IP（*F5*服务器负载均衡模块）
Citrix Netscaler
A10 A10
- 软件
lvs：Linux Virtual Server，阿里四层 SLB (Server Load Balance)使用
nginx：支持七层调度，阿里七层SLB使用 Tengine
haproxy：支持七层调度
ats：Apache Traffic Server，yahoo捐助给apache
perlbal：Perl 编写
pound
1.6.2 基于工作的协议层次划分
SNAT:让内网用户可以访问外网
DNAT:把内网的服务共享到公网上
- 传输层（通用）：DNAT 和 DPORT
LVS：
nginx：stream
haproxy：mode tcp
- 应用层（专用）：针对特定协议，常称为 proxy server
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, mycat...
1.6.3 负载均衡的会话保持
- session sticky：同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
- session replication：每台服务器拥有全部session（复制）
session multicast cluster
- session server：专门的session服务器（server）
Memcached，Redis
1.7 HA 高可用集群实现
keepalived：vrrp协议
Ais：应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker
2 Linux Virtual Server 简介
2.1 LVS 介绍
LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现
LVS 官网：http://www.linuxvirtualserver.org/
阿里SLB和LVS：
https://yq.aliyun.com/articles/1803
https://github.com/alibaba/LVS
整个SLB系统由3部分构成:四层负载均衡，七层负载均衡和控制系统，如下所示：
- 四层负载均衡，采用开源软件LVS(linux virtual server)，并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年多详见第3节;
- 七层负载均衡，采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;
- 控制系统，用于 配置和监控 负载均衡系统:
2.2 LVS工作原理
LVS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS（真实服务器），根据调度算法来挑选RS（真实服务器）。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行"处理"
[root@localhost ~]#grep -i -C 10 ipvs /boot/config-3.10.0-693.el7.x86_64
#该文件是在编译内核时决定开启还是关闭某一项功能（注释关闭）
CONFIG_NETFILTER_XT_MATCH_CPU=m
CONFIG_NETFILTER_XT_MATCH_DCCP=m
CONFIG_NETFILTER_XT_MATCH_DEVGROUP=m
CONFIG_NETFILTER_XT_MATCH_DSCP=m
CONFIG_NETFILTER_XT_MATCH_ECN=m
CONFIG_NETFILTER_XT_MATCH_ESP=m
CONFIG_NETFILTER_XT_MATCH_HASHLIMIT=m
CONFIG_NETFILTER_XT_MATCH_HELPER=m
CONFIG_NETFILTER_XT_MATCH_HL=m
CONFIG_NETFILTER_XT_MATCH_IPRANGE=m
CONFIG_NETFILTER_XT_MATCH_IPVS=m
CONFIG_NETFILTER_XT_MATCH_LENGTH=m
CONFIG_NETFILTER_XT_MATCH_LIMIT=m
CONFIG_NETFILTER_XT_MATCH_MAC=m
CONFIG_NETFILTER_XT_MATCH_MARK=m
CONFIG_NETFILTER_XT_MATCH_MULTIPORT=m
CONFIG_NETFILTER_XT_MATCH_NFACCT=m
CONFIG_NETFILTER_XT_MATCH_OSF=m
CONFIG_NETFILTER_XT_MATCH_OWNER=m
CONFIG_NETFILTER_XT_MATCH_POLICY=m
CONFIG_NETFILTER_XT_MATCH_PHYSDEV=m
--
CONFIG_IP_SET_HASH_NET=m
CONFIG_IP_SET_HASH_NETPORT=m
CONFIG_IP_SET_HASH_NETIFACE=m
CONFIG_IP_SET_LIST_SET=m
CONFIG_IP_VS=m
CONFIG_IP_VS_IPV6=y
# CONFIG_IP_VS_DEBUG is not set
CONFIG_IP_VS_TAB_BITS=12
#
# IPVS transport protocol load balancing support
#
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y
#
# IPVS scheduler 调度算法
#
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m
CONFIG_IP_VS_NQ=m
#
# IPVS SH scheduler
#
CONFIG_IP_VS_SH_TAB_BITS=8
#
# IPVS application helper
#
CONFIG_IP_VS_FTP=m
CONFIG_IP_VS_NFCT=y
CONFIG_IP_VS_PE_SIP=m
#
# IP: Netfilter Configuration
#
CONFIG_NF_DEFRAG_IPV4=m
CONFIG_NF_CONNTRACK_IPV4=m
2.3 LVS 集群体系架构
2.3.1 LVS 功能及组织架构
负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。
2.3.1.1 应用于高访问量的业务
如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS
2.3.1.2 扩展应用程序
可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。
2.3.1.3 消除单点故障
可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作
2.3.1.4 同城容灾 （多可用区容灾）
为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。
2.4 LVS集群类型中的术语
- VS（代理服务器）：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer（lvs服务器）
- RS（真实服务器）：Real Server(lvs), upstream server(nginx), backend server(haproxy)（真实服务器）
- CIP：Client IP（客户机IP）
- VIP：Virtual serve IP VS外网的IP 代理服务器的外网IP
- DIP：Director IP VS内网的IP 代理服务器的内网IP
- RIP：Real server IP （真实IP） 真实服务器的IP
访问流程：CIP <--> VIP == DIP <--> RIP
1 当客户端 发起请求报文是:
源ip:客户端的ip地址(cip)
目的地址: vip(代理服务器的外网地址)
2.当数据包到达我们的 代理服务器 源ip不变，需要修改目的ip及端口号
源ip:客户端的ip地址(cip)
目的地址:rip (后端真实服务器ip)
3.真实服务器 收到报文后 构建响应报文
源ip:改成真实服务器自己的ip(vip 是内网地址)
目的地址:cip 外网客户端地址
4.再发给代理服务器，代理服务会修改 源ip 将内网地址 改成外网地址
源ip:代理服务器的 外网ip (vip)
目的地址:cip(外网客户端的地址)
3 LVS工作模式和相关命令
3.1 LVS集群的工作模式
- lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
- lvs-dr：操纵封装新的MAC地址（直接路由） 默认的模式
- lvs-tun：隧道模式
- lvs-fullnat: 修改请求报文的源和目标IP
3.1.1 LVS的NAT模式
lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某处的RS（真实服务器）的RIP（真实服务器的IP）和
PORT实现转发
（1）RIP(真实服务器)和DIP（代理服务器的内网地址）应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由lvs服务器转发，lvs服务器易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
3.1.2 IP隧道
- RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是
说集群节点可以跨互联网实现。DIP, VIP, RIP可以是公网地址。
- RealServer的通道接口上需要配置VIP地址，以便接收DIP转发过来的数据包，以及作为响应的
报文源IP。
- DIP转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而
RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP
-
请求报文要经由Director，但响应不经由Director,响应由RealServer自己完成
-
不支持端口映射
-
RS的OS须支持隧道功能
一般来说，隧道模式常会用来负载调度缓存服务器组，这些缓存服务器一般放置在不同的网络环境，可以就近折返给客户端。
在请求对象不在Cache服务器本地命中的情况下，Cache服务器要向源服务器发送请求，将结果取回，最后将结果返回给用户。
3.1.3直接路由
直接路由（Direct Routing）：简称DR 模式，采用半开放式的网络结构，与 TUN 模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。
负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道
直接路由，LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
ARP（adress resolution pro）地址解析协议 在封装报文的时候解决封装 mac问题
绑定 ARP 绑定lvs代理服务器，虚拟ip相同按mac地址访问
关闭ARP 广播真实服务器 ，真实服务器不回应。
DR模式的特点：
-
Director和各RS都配置有VIP（这里指虚拟的IP）
-
确保前端路由器将目标IP为VIP的请求报文发往Director
- 在前端网关做静态绑定VIP和Director的MAC地址
- 在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore 忽略arp广播
/proc/sys/net/ipv4/conf/all/arp_announce 关闭无故arp
RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
-
RS和Director要在同一个物理网络
-
请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
-
不支持端口映射（端口不能修改）
-
无需开启 ip_forward
-
RS可使用大多数OS系统
3.1.4 LVS工作模式总结和比较
| NAT | TUN | DR | |
|---|---|---|---|
| 优点 | 端口转换 | WAN | 性能最好 |
| 缺点 | 性能瓶颈 | 服务器支持隧道模式 | 不支持跨网段 |
| 真实服务器要求 | any | Tunneling | Non-arp device(忽略arp) |
| 支持网络 | private（私网） | LAN/WAN（私网/公网） | LAN（私网） |
| 真实服务器数量 | low (10~20) | High (100) | High (100) |
| 真实服务器网关 | lvs内网地址 | Own router（网工定义） | Own router（网工定义） |
3.2 LVS 调度算法
ipvs scheduler：根据其调度时是否考虑各RS（真实服务器）当前的负载状态
分为两种：静态方法和动态方法
静态方法：不管后端真实服务器的状态，根据自身 算法进行调度
动态方法：会根据后端服务器的状态来进行调度
四层 没有url hash 看不懂
静态：
仅根据算法本身进行调度
1、RR：roundrobin，轮询,较常用
2、WRR：Weighted RR，加权轮询,较常用
3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡,如: Web缓存
动态： 一个参考值 来确定服务器是否忙 值越小 代理服务器优先调度给闲的服务器
主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度
1、LC：least connections 适用于长连接应用 最小连接数 不考虑权重
Overhead=activeconns*256+inactiveconns
active 活跃
inactive 不活跃
2、WLC：Weighted LC，默认调度方法,较常用 默认调度算法 加权最小连接数
第一轮不合理 都是一样的 优先级
Overhead=(activeconns*256+inactiveconns)/weight
3、SED：Shortest Expection Delay，初始连接高权重优先,只检查活动连接,而不考虑非活动连接
Overhead=(activeconns+1)*256/weight
初始为0无法知道调度给谁，所以加1
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理,实现Web Cache等
6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS,,实现Web Cache等
内核版本 4.15 版本后新增调度算法:FO 和 OVF
FO(Weighted FailOver) 调度算法,在此FO算法中，遍历虚拟,服务所关联的真实服务器链表，找到还未过载(未设置IP VSDESTFOVERLOAD标志)的目权重最高的真实服务器，进行调度,属于静态算法
OVF(Overfiow·connecion)调度算法，基于真实服务器的活动许接数量和权重值实现，将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。,属于动态算法
一个可用的真实服务器需要同时满足以下条件:
- 未过载 (未设置IP VS DEST F OVERLOAD标志)
- 真实服务器当前的活动连接数量小于其权重值
- 其权重值不为零
4 ipvsadm 工具
4.1 ipvsadm 工具选项说明
-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器（节点服务器）
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息，常与"-l"选项组合使用。ipvsadm -ln
#管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address #删除
ipvsadm --C #清空
ipvsadm --R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save
#管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
例子：
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.11:80 -m
yum install ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm
5.NAT模式 LVS负载均衡部署
配置环境：
负载调度器（网关服务器）：配置双网卡 内网：192.168.80.11(ens33) 外网卡：12.0.0.254(ens36)
二台WEB服务器集群池：192.168.80.12、192.168.80.13
一台NFS共享服务器：192.168.80.10
客户端：12.0.0.12
注意！！在修改网卡前先下载必要的安装包或搭建yum仓库
网关服务器需要安装：yum install ipvsadm* -y
二台WEB服务器安装：yum install httpd -y
NFS共享服务器：yum install nfs-utils rpcbind -y
5.1 部署共享存储（NFS服务器：192.168.80.10）
NFS 是一种基于 TCP/IP 传输的网络文件系统协议，最初由 Sun 公司开发。通过使用 NFS协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源。
对于大多数负载均衡群集来说，使用 NFS 协议来共享数据存储是比较常见的做法，NFS 也是 NAS 存储设备必然支持的一种协议。
NFS 服务的实现依赖于 RPC（Remote Process Call，远端过程调用）机制，以完成远程到本地的映射过程。
在 CentOS 7 系统中，需要安装 nfs-utils、rpcbind 软件包来提供 NFS共享服务，前者用于 NFS 共享发布和访问，后者用于 RPC 支持
搭建本地yum仓库：
mount /dev/sr0 /mnt 提供安装包和元数据
cd /etc/yum.repos.d/ 切换到，规定的目录
mkdir bak
mv *.repo bak 减少网络源干扰
vim /etc/yum.repos.d/local.repo 注意 一定要以repo 结尾
[local] 仓库的描述
name=local 仓库名字
baseurl=file:///mnt 仓库位置
gpgcheck=0 不检测包的安全性
yum clean all 清理缓存
yum makecache 重新构建元数据
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.10
NETMASK=255.255.255.0
GATEWAY=192.168.80.11
systemctl restart network
systemctl stop firewalld
setenforce 0
yum install nfs-utils rpcbind -y
#安装不了可以搭建本地yum仓库或者修改网卡配置
systemctl start rpcbind
systemctl start nfs
mkdir /share
mkdir /accp
echo share > /share/index.html
echo accp > /accp/index.html
vim /etc/exports
#设置共享策略
/share 192.168.80.0/24(rw,sync)
/accp 192.168.80.0/24(rw,sync)
#或者 /share *
#/accp *
exportfs -rv
#发布服务
systemctl restart nfs
5.2 节点服务器
第一台：
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.12
NETMASK=255.255.255.0
GATEWAY=192.168.80.11
systemctl stop firewalld
setenforce 0
yum install httpd -y
showmount -e 192.168.80.10
[root@web1 ~]#showmount -e 192.168.80.10
Export list for 192.168.80.10:
/accp 192.168.80.0/24
/share 192.168.80.0/24
mount 192.168.80.10:/share /var/www/html
永久挂载：
vi /etc/fstab
192.168.80.10:/share /var/www/html nfs defaults,_netdev 0 0
mount -a
第二台：
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.13
NETMASK=255.255.255.0
GATEWAY=192.168.80.11
systemctl stop firewalld
setenforce 0
yum install httpd -y
showmount -e 192.168.80.10
[root@web1 ~]#showmount -e 192.168.80.10
Export list for 192.168.80.10:
/accp 192.168.80.0/24
/share 192.168.80.0/24
mount 192.168.80.10:/accp /var/www/html
永久挂载：
vi /etc/fstab
192.168.80.10:/accp /var/www/html nfs defaults,_netdev 0 0
mount -a
5.3 调度服务器
systemctl stop firewalld
setenforce 0
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.11
NETMASK=255.255.255.0
GATEWAY=192.168.80.11
DNS1=8.8.8.8
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=12.0.0.254
NETMASK=255.255.255.0
DNS1=8.8.8.8
systemctl restart network
#把新添加的网卡调整为仅主机模式
vim /etc/sysctl.conf
#在最后一行下面添加
net.ipv4.ip_forward = 1
sysctl -p
yum install ipvsadm* -y
ipvsadm-save >/etc/sysconfig/ipvsadm
#保存配置文件
systemctl start ipvsadm.service
ipvsadm -C
#清空策略
ipvsadm -A -t 12.0.0.254:80 -s rr
#指定IP地址 外网的入口 -s rr 轮询
ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.12:80 -m
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 12.0.0.254:80 -r 192.168.80.13:80 -m
systemctl restart ipvsadm.service
[root@wg ~]#ipvsadm -ln
#查看策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 12.0.0.254:80 rr
-> 192.168.80.12:80 Masq 1 0 0
-> 192.168.80.13:80 Masq 1 0 0
时间较长 请耐心等待1分钟后 再刷新
5.4 客户端
把客户端的网卡改成仅主机模式
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=12.0.0.12
NETMASK=255.255.255.0
GATEWAY=12.0.0.254
#如果连着xshell可能会断连
systemctl restart network
#断连使用 ssh 12.0.0.12 不行可能是 虚拟网络编辑器或者vmnet1 有错误
[root@localhost ~]#curl 12.0.0.254
share
[root@localhost ~]#curl 12.0.0.254
accp
[root@localhost ~]#curl 12.0.0.254
share
[root@localhost ~]#curl 12.0.0.254
accp
LVS的负载调度算法有四种最常用的：轮询算法（rr）、加权轮询（wrr）、最少轮询（lc）、
加权最少轮询（wlc）
1）创建虚拟服务器(注意：NAT模式要两块网卡，调度器的地址是外网口地址)
群集的VIP地址为192.168.80.33，针对TCP 80端口提供负载分流服务，使用的轮询调度算法。
对于负载均衡调度器来说，VIP必须是本机实际已启用的IP地址
ipvsadm -A -t 192.168.20.11:80 -s rr
//选项 "-A"表示添加虚拟服务器，"-t"用来指定VIP地址及TCP端口，"-s"用来指定
负载调度算法------rr、wrr、lc、wlc
2）添加服务器节点
ipvsadm -a -t 192.168.20.11:80 -r 192.168.80.33:80 -m
ipvsadm -a -t 192.168.20.11:80 -r 192.168.80.44:80 -m
//选项 "-a"表示添加真实服务器，"-t"用来指定VIP地址及TCP端口，"-r"用来指定RIP地址及TCP端口，
"-m"表示使用NAT群集模式（"-g"是DR模式，"-i"是TUN模式）
{ -m参数后面还可以跟-w的参数，这里没有做的"-w"用来设置权重（权重为0时表示暂停节点）}
4）删除服务器节点
ipvsadm -d -r 192.168.90.22:80 -t 192.168.80.88:80
//需要从服务器池中删除某一个节点时，使用选项"-d"。执行删除操作必须指定目标对象，包括节点地址、
虚拟IP地址。如上所示的操作将会删除LVS群集192.168.80.88中的节点192.168.90.22
若需要删除整个虚拟服务器时，使用选项-D并指定虚拟IP地址即可，无需要指定节点。例如：
"ipvsadm -D -t 192.168.80.11:80"，则删除此虚拟服务器。
ipvsadm -L //查看节点状态，加个"-n"将以数字形式显示地址、端口信息
ipvsadm-save > /etc/sysconfig/ipvsadm //保存策略
使用导出/导入工具ipvsadm-save/ipvsadm-restore可以保存、恢复LVS策略，方法类似于iptables
的规则的导出、导入
6.LVS DR模式部署
6.1原理解释
客户机发起请求，经过调度服务器（lvs），经过算法调度，去访问真实服务器（RS）
由于不原路返回，客户机不知道，真实主机的ip地址，
所以只能通过调度服务器的外网ip（vip）去反回报文信息。
| 序号 | 发送方 | 接收方 |
|---|---|---|
| 1 | 12.0.0.12 客户机mac | 12.0.0.254 路由器mac |
| 2 | 192.168.80.11 路由器mac | 192.168.80.188 调度服务器mac |
| 3 | 192.168.80.188 调度服务器mac | 192.168.80.188 真实服务器mac |
| 4 | 192.168.80.188 真实服务器mac | 192.168.80.11 路由器mac |
| 5 | 12.0.0.254 路由器mac | 12.0.0.12 客户机mac |
访问完整过程（不考虑实际问题）
客户端---->网关路由地址12.0.0.254----->lvs虚拟IP：192.168.80.188----->
真实服务器虚拟IP：192.168.80.188----> 网关路由：192.168.80.11 ----->客户端
在有网关服务器（路由器）的情况下，DR模式的问题：
在内网环境中客户端 192.168.80.20访问lvs调度服务器192.168.80.10（客户端不知道真实服务器IP）
源IP地址：192.168.80.20 目的IP：192.168.80.10
lvs调度服务器 调度 到真实服务器（192.168.80.12）上，真实服务器处理好请求后会发送到客户端
（因为是DR模式，不会再让调度服务器发送到客户端）源IP地址：192.168.80.12 目的IP：192.168.80.20
客户端收到回包后会发现这不是我访问的地址 客户端会直接丢弃
所以在DR模式且有网关路由器的情况下，对lvs调度服务器和每台真实服务器配置虚拟地址 192.168.80.188/32
问题1
IP 地址冲突的
路由器发送ARP请求（广播）
ARP---->广播去找ip地址解析成mac地址
默认使用调度服务器上的外网地址（vip地址）响应，
在真实服务器上修改内核参数
使真实服务器只对自己服务器上的真实IP地址响应ARP解析。
第二次再有访问请求
问题2
路由器上绑定了 真实服务器1的mac信息，
#请求到达真实服务器
在真实服务器上修改内核参数
只对所有服务器真实网卡上的地址进行反馈，解析
实际操作：
配置负载调度器
systemctl stop firewalld.service
setenforce 0
yum install ipvsadm.x86_64 -y
#安装服务
#配置虚拟IP地址（VIP：192.168.80.188）
ifconfig lo:0 192.168.80.188/32
或者
永久修改
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
#配置虚拟网卡，若为隧道模式ifcfg-tunl0
vim ifcfg-ens33:0
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.80.188
NETMASK=255.255.255.255
systemctl restart network
ifup ifcfg-ens33:0
#启动网卡
ifconfig ifcfg-ens33:0
#查看虚拟网卡
#调整/proc响应参数
vi /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
#刷新配置
#调整/proc响应参数 对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，
应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
ipvsadm -C
#清空策略
ipvsadm -A -t 192.168.80.188:80 -s rr
ipvsadm -a -t 192.168.80.188:80 -r 192.168.80.12:80 -g
ipvsadm -a -t 192.168.80.188:80 -r 192.168.80.13:80 -g
systemctl restart ipvsadm.service
ipvsadm-save >/etc/sysconfig/ipvsadm
#保存设置
web 服务器
web1 与 web2 大致相同
systemctl stop firewalld.service
setenforce 0
yum install httpd -y
systemctl start httpd
web1：
vim /var/www/html/index.html
share
web2：
vim /var/www/html/index.html
accp
#为了显示轮询效果
ifconfig lo:0 192.168.80.188/32
或者
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
#修改回环网卡名，IP地址，子网掩码
DEVICE=lo:0
IPADDR=192.168.80.188
NETMASK=255.255.255.255
NETWORK=127.0.0.0
vim /etc/sysctl.conf
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
sysctl -p
#刷新配置
定义对目标地址为本地IP的ARP询问不同的应答模式
0 - (默认值):回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
想设置路由可以设置路由，但没必要。没有设置路由也可以达到效果
[root@localhost network-scripts]#route add -host 192.168.80.188 dev lo:0
#设置路由
[root@localhost network-scripts]#route -n
#开机执行命令，或者写入 /etc/profile 文件
[root@localhost network-scripts]#vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.80.188 dev lo:0
[root@localhost network-scripts]#chmod +x /etc/rc.d/rc.local
[root@localhost network-scripts]#ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 484 11月 17 16:56 /etc/rc.d/rc.local
网关路由器
[root@wg ~]#cd /etc/sysconfig/network-scripts/
[root@wg network-scripts]#cat ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.11
NETMASK=255.255.255.0
GATEWAY=192.168.80.11
DNS1=8.8.8.8
[root@wg network-scripts]#cat ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=12.0.0.254
NETMASK=255.255.255.0
GATEWAY=12.0.0.254
DNS1=8.8.8.8
#设置防火墙策略 SNAT DNAT
iptables -t nat -A POSTROUTING -s 192.168.80.0/24 -o ens36 -j SNAT --to 12.0.0.254
iptables -t nat -A PREROUTING -i ens36 -d 12.0.0.254 -p tcp --dport 80 -j DNAT --to 192.168.80.188
客户端
[root@localhost ~]#cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]#cat ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=12.0.0.12
NETMASK=255.255.255.0
GATEWAY=12.0.0.254
[root@localhost network-scripts]#curl 12.0.0.254
share
[root@localhost network-scripts]#curl 12.0.0.254
accp