简介
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。
目录
[1. 集群 Cluster](#1. 集群 Cluster)
[2. 分布式系统](#2. 分布式系统)
[3. 单机结构与分布式](#3. 单机结构与分布式)
[4. 集群设计原则](#4. 集群设计原则)
[5. 集群设计实现](#5. 集群设计实现)
[5.1 基础设施层面](#5.1 基础设施层面)
[5.2 业务层面](#5.2 业务层面)
[6. LB Cluster 负载均衡集群](#6. LB Cluster 负载均衡集群)
[6.1 按实现方式划分](#6.1 按实现方式划分)
[6.2 基于工作的协议层次划分](#6.2 基于工作的协议层次划分)
[6.3 负载均衡的会话保持](#6.3 负载均衡的会话保持)
[7. HA 高可用集群实现](#7. HA 高可用集群实现)
[二、Linux Virtual Server简介](#二、Linux Virtual Server简介)
[1. LVS介绍](#1. LVS介绍)
[1.1 概述](#1.1 概述)
[1.2 结构](#1.2 结构)
[2. 工作原理](#2. 工作原理)
[3. LVS集群体系架构](#3. LVS集群体系架构)
[4. LVS 功能](#4. LVS 功能)
[5. LVS集群类型中的术语](#5. LVS集群类型中的术语)
[1. LVS集群的工作模式](#1. LVS集群的工作模式)
[1.1 LVS的NAT模式](#1.1 LVS的NAT模式)
[1.2 IP隧道](#1.2 IP隧道)
[1.3 直接路由](#1.3 直接路由)
[1.4 LVS工作模式总结和比较](#1.4 LVS工作模式总结和比较)
[2. LVS 调试算法](#2. LVS 调试算法)
[四、ipvsadm 工具](#四、ipvsadm 工具)
[1. 概述](#1. 概述)
[2. ipvsadm 工具选项说明](#2. ipvsadm 工具选项说明)
[五、NAT模式 LVS负载均衡部署](#五、NAT模式 LVS负载均衡部署)
[1. 配置环境](#1. 配置环境)
[2. 操作步骤](#2. 操作步骤)
[六、LVS DR模式部署](#六、LVS DR模式部署)
[1. 配置环境](#1. 配置环境)
[2. 部署示例](#2. 部署示例)
[1. LVS（Linux Virtual Server）](#1. LVS（Linux Virtual Server）)
[2. Nginx](#2. Nginx)
[3. HAProxy](#3. HAProxy)
[1. NFS（Network File System）：](#1. NFS（Network File System）：)
[2. CIFS/SMB（Common Internet File System/Server Message Block）：](#2. CIFS/SMB（Common Internet File System/Server Message Block）：)
[3. GFS（Global File System）：](#3. GFS（Global File System）：)
一、集群和分布式
系统性能扩展方式：
- Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务，即升级单机硬件设备
- Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster
1. 集群 Cluster
为解决某个特定问题将多台计算机组合起来形成的单个系统，分为三个类型：
- LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求
- HA： High Availiablity，高可用，避免 SPOF 单点故障（single Point Of failure）
- HPC： High-performance computing，高性能
服务等级协议：
SLA：服务等级协议（简称：SLA，全称：service level agreement）。是在一定开销下为保障服
务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服
务质量的主要因素。在常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这
种水平的时候，就会有一些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。
bash
1年 = 365天 = 8760小时
90 = (1-90%)*365=36.5天
99 = 8760 * 1% = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟
99.9999= (1-99.9999%)*365*24*60*60=31秒
#停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外停机时间。2. 分布式系统
分布式存储：Ceph，GlusterFS，FastDFS，MogileFS
分布式计算：hadoop，Spark
分布式常见应用：
- 分布式应用-服务按照功能拆分，使用微服务（单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值服务）
- 分布式静态资源--静态资源放在不同的存储集群上
- 分布式数据和存储--使用key-value缓存系统
- 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群
3. 单机结构与分布式
单机结构：计算机系统中只有一台计算机处理所有的任务和数据，所有的计算资源都集中在这一台计算机上。这种结构的优点是简单易用、成本低廉，但是缺点是处理能力和存储容量有限，无法满足大规模数据处理和高并发访问的需求。
集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。
4. 集群设计原则
① 可扩展性：集群的横向扩展能力
② 可用性：无故障时间 (SLA service level agreement)，避免单点故障
③ 性能：访问响应时间
④ 容量：单位时间内的最大并发吞吐量(C10K 并发问题)
5. 集群设计实现
5.1 基础设施层面
- 提升硬件资源性能：从入口防火墙到后端 web server 均使用更高性能的硬件资源
- 多域名：DNS 轮询A记录解析
- 多入口：将A记录解析到多个公网IP入口
- 多机房：同城+异地容灾
- CDN(Content Delivery Network)：基于GSLB(Global Server Load Balance)实现全局负载均衡，如：DNS
5.2 业务层面
- 分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
- 分割：基于功能分割大业务为小服务
- 分布式：对于特殊场景的业务，使用分布式计算
- 微服务：将传统的一站式应用，根据业务拆分成一个一个的服务，彻底去掉耦合，每一个微服务提供单个业务功能，一个服务只做一件事。
6. LB Cluster 负载均衡集群
6.1 按实现方式划分
硬件：
- F5 Big-IP（F5服务器负载均衡模块）
- Citrix Netscaler
- A10 A10
软件：
- lvs：Linux Virtual Server，阿里四层 SLB (Server Load Balance)使用
- nginx：支持七层调度，阿里七层SLB使用 Tengine
- haproxy：支持七层调度
- ats：Apache Traffic Server，yahoo捐助给apache
- perlbal：Perl 编写
- pound
6.2 基于工作的协议层次划分
传输层（通用）：DNAT 和 DPORT
- LVS：通过NAT实现负载均衡（性能高使用）
- nginx：stream（性能低使用）
- haproxy：mode tcp（理论中间值，考虑到扩展因素可以直接选择LVS）
应用层（专用）：针对特定协议，常称为 proxy server
SNAT：让内网用户可以访问外网
DNAT：把内网服务共享到公网上，（外网用户可以访问企业内网服务）
- http：nginx, httpd, haproxy(mode http), ...
- fastcgi：nginx, httpd, ...
- mysql：mysql-proxy, mycat...
6.3 负载均衡的会话保持
session sticky：同一用户调度固定服务器
- Source IP：LVS sh算法（对某一特定服务而言）
- Cookie
session replication：每台服务器拥有全部session（复制）
- session multicast cluster
session server：专门的session服务器（server）
- Memcached，Redis
7. HA 高可用集群实现
keepalived：vrrp协议（虚拟ip主备共用）
Ais：应用接口规范（开发考虑）
- heartbeat
- cman+rgmanager(RHCS)
- coresync_pacemaker
二、Linux Virtual Server简介
1. LVS介绍
1.1 概述
LVS：Linux Virtual Server，负载调度器，内核集成， 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现。
1.2 结构
第一层，负载调度器(Load Balancer或Director)
访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP（虚拟IP）地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。
第二层，服务器池(Server Pool)
群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。
第三层，共享存储(Share Storage)
为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性共享存储可以使用 NAS设备，或者提供 NFS共享服务的专用服务器。
2. 工作原理
LVS（Linux Virtual Server）是一种基于Linux内核的负载均衡解决方案，它可以将用户请求分发到多个后端服务器上进行处理，以提高系统的可用性和可扩展性。LVS的工作原理可以分为以下几个步骤：
① 客户端向LVS发送请求，请求被LVS接收。
② LVS根据负载均衡算法选择一个后端服务器，将请求发送给后端服务器。
③ 后端服务器处理请求，并将结果返回给LVS。
④ LVS将结果返回给客户端。
3. LVS集群体系架构
① NAT（Network Address Translation）模式
将LVS主机和后端服务器之间的数据流量进行地址转换，以实现负载均衡和高可用性。具体来说，NAT模式需要在LVS主机和后端服务器之间建立一个虚拟IP地址，并将该IP地址的MAC地址配置到LVS主机上，然后将请求转发到后端服务器上，并将响应数据流量进行地址转换，使得请求和响应都能够正确地返回给客户端。
② DR（Direct Routing）模式
将LVS主机和后端服务器之间的数据流量直接路由到后端服务器上，以减少LVS主机的负载。具体来说，DR模式需要在LVS主机和后端服务器之间建立一个虚拟IP地址，然后将该IP地址的MAC地址配置到LVS主机上，使得LVS主机可以将请求转发到后端服务器上，而不需要对请求进行任何处理。这样可以大大提高LVS主机的吞吐量和处理能力。
③ TUN（Tunneling）模式
通过IP隧道技术，在LVS主机和后端服务器之间建立一个虚拟网络，以实现负载均衡和高可用性。具体来说，TUN模式需要在LVS主机和后端服务器之间建立一个虚拟IP地址，并将该IP地址的MAC地址配置到LVS主机上，然后通过IP隧道技术将请求和响应数据包封装在IP包中，以实现数据的传输和转发。
注意：每种架构都有其优缺点和适用场景，需要根据实际情况选择合适的架构。同时，LVS还可以与其他开源软件集成，如HAPRoxy、Keepalived等，以实现更高级的负载均衡和高可用性功能。
4. LVS 功能
负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。
① 应用于高访问量的业务
如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS
② 扩展应用程序
可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。
③ 消除单点故障
可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作
④ 同城容灾 （多可用区容灾）
为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。
5. LVS集群类型中的术语
- VS：Virtual Server，Director Server(DS)，Dispatcher(调度器)，Load Balancer（lvs服务器）。代理服务器，是LVS集群的核心组件，它对外提供服务，并将请求转发到后端的RS（Real Server）上进行处理。
- RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)。真实服务器，是LVS集群中的后端服务器，负责处理来自VS的请求，并将处理结果返回给VS。
- CIP：Client IP，客户端IP地址，是请求的来源IP地址，用于识别请求的来源。
- VIP：Virtual serve IP，代理服务器外网的IP，虚拟IP地址，是LVS集群中的虚拟IP地址，用于对外提供服务，并将请求转发到后端的RS上进行处理。
- DIP：Director IP，代理服务器内网的IP，调度器IP地址，是LVS主机的IP地址，用于将请求转发到后端的RS上进行处理。
- RIP：Real server IP，真实IP地址，是后端RS的IP地址，用于处理来自LVS主机的请求，并将处理结果返回给LVS主机。
三、LVS工作模式和相关命令
1. LVS集群的工作模式
- lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
- lvs-dr：操纵封装新的MAC地址（直接路由，默认模式）
- lvs-tun：隧道模式
1.1 LVS的NAT模式
① 当客户端发起请求报文时
- 源ip：客户端的ip地址(cip)
- 目的地址：vip(代理服务器的外网地址)
② 当数据包到达我们的代理服务器源ip不变， 需要修改目的ip及端口号
- 源ip：客户端的ip地址(cip)
- 目的地址：rip (后端真实服务器ip)
③ 真实服务器收到报文后，构建响应报文
- 源ip：改成真实服务器自己的ip(vip 是内网地址)
- 目的地址：cip 外网客户端地址
④ 再发给代理服务器， 代理服务会修改 源ip 将内网地址 改成外网地址
- 源ip：代理服务器的 外网ip (vip)
- 目的地址：cip(外网客户端的地址)
lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和PORT实现转发
（1）RIP（真实服务器）和DIP（代理服务器的内网）应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由lvs服务器转发，lvs服务器易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
1.2 IP隧道
① RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现。DIP, VIP, RIP可以是公网地址。
② RealServer的通道接口上需要配置VIP地址，以便接收DIP转发过来的数据包，以及作为响应的
报文源IP。
③ DIP转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而
RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP
④ 请求报文要经由Director，但响应不经由Director,响应由RealServer自己完成
⑤ 不支持端口映射
⑥ RS的OS须支持隧道功能
一般来说，隧道模式常会用来负载调度缓存服务器组，这些缓存服务器一般放置在不同的网络环境，可以就近折返给客户端。在请求对象不在Cache服务器本地命中的情况下，Cache服务器要向源服务器发送请求，将结果取回，最后将结果返回给用户。
1.3 直接路由
直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN 模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道直接路由，LVS默认模式，应用最广泛,通过请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。
DR模式的特点：
① Director和各RS都配置有VIP
② 确保前端路由器将目标IP为VIP的请求报文发往Director
-
在前端网关做静态绑定VIP和Director的MAC地址
-
在RS上使用arptables工具
③ RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
④ RS和Director要在同一个物理网络
⑤ 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
⑥ 不支持端口映射（端口不能修改）
⑦ 无需开启 ip_forward
⑧ RS可使用大多数OS系统
1.4 LVS工作模式总结和比较
|---------|--------------|------------------|------------------|
| | NAT | TUN | DR |
| 优点 | 端口转换 | WAN | 性能最好 |
| 缺点 | 性能瓶颈 | 服务器支持隧道模式 | 不支持跨网段 |
| 真实服务器要求 | any | Tunneling | Non-arp device |
| 支持网络 | private（私网） | LAN/WAN（私网/公网） | LAN（私网） |
| 真实服务器数量 | low (10~20) | High (100) | High (100) |
| 真实服务器网关 | lvs内网地址 | Own router（网工定义） | Own router（网工定义） |
2. LVS 调试算法
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
分为两种：
静态方法：不管后端服务器的状态，根据自身的算法进行调度
动态方法：会根据后端服务器的状态进行调度
仅根据算法本身进行调度
静态：
① RR：roundrobin，轮询，较常用
② WRR：Weighted RR，加权轮询，较常用；先算总权重，再用自己的权重除以总权重
③ SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
④ DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如: Web缓存
动态：
主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度。根据一个参考值，来确定服务器是否繁忙，如果这个值越小，代表服务器空闲，就会优先调度。
① LC：least connections 适用于长连接应用
bash
Overhead=activeconns*256+inactiveconns
活跃 不活跃② WLC：Weighted LC，默认调度方法，较常用
bash
Overhead=(activeconns*256+inactiveconns)/weight
权重③ SED：Shortest Expection Delay，初始连接高权重优先,只检查活动连接,而不考虑非活动连接
bash
Overhead=(activeconns+1)*256/weight
#如何服务器均在初始状态，大家连接数都是0，上条公式将无法确认调度④ NQ：Never Queue，第一轮均匀分配，后续SED
⑤ LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理,实现Web Cache等（检查后端服务器是否繁忙）
⑥ LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS,,实现Web Cache等
内核版本 4.15 版本后新增调度算法：FO和OVF
FO (Weighted Fail Over)调度算法，在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F_OVERLOAD标志)的且权重最高的真实服务器，进行调度，属于静态算法
OVF(Overfiow-connecion)调度笪法，基于真实服务器的活动连接教量和权重值实现、将新连接调度到权重值最高的真实服务器，直到其活动连接教量超过权重值之后调度到下一个权重值最高的真实服务器。在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最髙的可用真实服务器，属于动态算法
一个可用的真实服务器需要同时满足以下条件：
- 未过载(未设置IP_VS_DEST_F_OVERLOAD标志)
- 真实服务器当前的活动连接数量小于其权重值e
- 其权重值不为零
四、ipvsadm 工具
1. 概述
ipvsadm工具可以通过命令行方式进行配置和管理，支持添加、删除、修改虚拟服务器、后端服务器以及负载均衡算法等。使用ipvsadm可以方便地实现负载均衡器的配置和管理，同时也可以通过脚本自动化部署和管理LVS集群。ipvsadm工具支持多种负载均衡算法，如轮询、加权轮询、源地址哈希、最小连接数等。同时，它还支持DR、NAT、TUN等不同的集群体系架构，以满足不同场景下的需求。
2. ipvsadm 工具选项说明
|-------|-------------------------------------------------|
| 选项 | 说明 |
| -A | 添加虚拟服务器 |
| -D | 删除整个虚拟服务器 |
| -s | 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc) |
| -a | 添加真实服务器（节点服务器） |
| -d | 删除某一个节点 |
| -t | 指定VIP地址及TCP端口 |
| -r | 指定RIP地址及TCP端口 |
| -m | 表示使用NAT群集模式 |
| -g | 表示使用DR模式 |
| -i | 表示使用TUN模式 |
| -w | 设置权重(权重为0时表示暂停节点) |
| -p 60 | 表示保持长连接60秒 |
| -l | 列表查看 LVS虚拟服务器(默认为查看所有) |
| -n | 以数字形式显示地址、端口等信息，常与"-l"选项组合使用。ipvsadm -ln |
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
示例：
bash
定义代理服务器
ipvsadm -A -t 12.0.0.1:80 -s rr
-A：新建代理服务器
-t：tcp协议
12.0.0.1:80：服务器地址端口
-s：算法
rr：轮询
#向LVS集群中添加一个新的虚拟服务器，将来自12.0.0.1:80的请求通过rr算法转发到后端的RS上进行处理
定义web真实服务器
ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.11:80 -m
-a：添加一个新的虚拟服务器。
-t 12.0.0.1:80：指定虚拟服务器的VIP（Virtual IP）和端口号，即12.0.0.1的80端口。
-r 192.168.80.11:80：指定虚拟服务器转发请求到的后端RS（Real Server）的IP地址和端口号，即192.168.80.11的80端口。
-m：指定LVS集群的调度算法，即负载均衡算法。这里的-m选项未指定具体的算法，因此会使用默认的负载均衡算法。
#将来自12.0.0.1:80的请求转发到192.168.80.11:80上进行处理，同时使用默认的负载均衡算法五、NAT模式 LVS负载均衡部署
NAT模式是LVS负载均衡器中常用的一种集群体系架构，它可以通过NAT技术将客户端请求转发到后端服务器上，实现负载均衡和高可用性。
1. 配置环境
2. 操作步骤
① 所有机器关闭防火墙
bash
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0② NFS服务器 7-3 添加共享文件
bash
7-3：
[root@localhost ~]# mkdir /benet
[root@localhost ~]# mkdir /accp
[root@localhost ~]# vim /etc/exports
/benet *
/accp *
[root@localhost ~]# exportfs -r
[root@localhost ~]# exportfs -v
[root@localhost ~]# echo accp > /accp/index.html
[root@localhost ~]# echo benet > /benet/index.html
[root@localhost accp]# systemctl start nfs③ web服务器 7-1，7-2 添加共享文件挂载
bash
7-1：
[root@localhost ~]# showmount -e 192.168.190.103 #查看nfs服务
Export list for 192.168.190.103:
/accp *
/benet *
[root@localhost ~]# mount 192.168.190.103:/accp /var/www/html/ #挂载站点
[root@localhost ~]# systemctl start httpd
7-2：
[root@localhost ~]# mount 192.168.190.103:/benet /var/www/html/
[root@localhost ~]# systemctl start httpd④ 测试访问页面
bash
7-0：
[root@localhost ~]# curl 192.168.190.102
benet
[root@localhost ~]# curl 192.168.190.101
accp⑤ 安装 ipvsadm 工具
bash
[root@localhost ~]#yum install ipvsadm* -y⑥ 代理服务器 7-0 添加网卡编辑网卡信息
bash
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens36
[root@localhost network-scripts]# vim ifcfg-ens36
BOOTPROTO=static
NAME=ens36
DEVICE=ens36
IPADDR=12.0.0.1
NETMASK=255.255.255.0
GATEWAY=12.0.0.1
DNS1=114.114.114.114
[root@localhost network-scripts]# vim ifcfg-ens33
NAME=ens33
DEVICE=ens33
IPADDR=192.168.190.100
NETMASK=255.255.255.0
GATEWAY=192.168.190.100
DNS1=114.114.114.114
[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# route -n #查看默认路由
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.190.100 0.0.0.0 UG 100 0 0 ens33
0.0.0.0 12.0.0.1 0.0.0.0 UG 101 0 0 ens36
12.0.0.0 0.0.0.0 255.255.255.0 U 100 0 0 ens36
192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0
192.168.190.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33⑦ 代理服务器 7-0 开启路由转发功能
bash
[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 #打开路由转发功能⑧ 配置代理服务器策略
bash
[root@localhost ~]# ipvsadm-save >/etc/sysconfig/ipvsadm #保存配置文件
[root@localhost ~]# systemctl start ipvsadm.service
[root@localhost ~]# ipvsadm -C #清空策略
[root@localhost ~]# ipvsadm -A -t 12.0.0.1:80 -s rr #指定IP地址外网的入口-s rr轮询
[root@localhost ~]# ipvsadm -a -t 12.0.0.1:80 -r 192.168.190.101:80 -m
[root@localhost ~]# ipvsadm -a -t 12.0.0.1:80 -r 192.168.190.102:80 -m
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
[root@localhost ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP localhost.localdomain:http rr #启动，自动加载ip_vs内核模块
-> 192.168.190.101:http Masq 1 0 0
-> 192.168.190.102:http Masq 1 0 0
[root@localhost ~]# ipvsadm -ln #查看策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 12.0.0.1:80 rr
-> 192.168.190.101:80 Masq 1 0 0
-> 192.168.190.102:80 Masq 1 0 0 ⑨ 修改web服务器7-1，7-2网关
bash
GATEWAY=192.168.190.100
[root@localhost ~]# systemctl restart network⑩ 访问代理服务器外网ip，查看是否实现轮询
bash
[root@localhost ~]# curl 12.0.0.1
benet
[root@localhost ~]# curl 12.0.0.1
accp
[root@localhost ~]# curl 12.0.0.1
benet
[root@localhost ~]# curl 12.0.0.1
accp六、LVS DR模式部署
LVS DR模式是将负载均衡器和后端服务器都放置在同一个子网中的集群部署模式。在DR模式下，LVS Director节点通过在网络上配置虚拟IP（VIP）来接收客户端请求，并使用ARP协议将VIP的MAC地址映射到LVS Director节点的物理网卡。
1. 配置环境
|----|--------------------------|--------------------------|
| 序号 | 源地址 | 目标地址 |
| 1 | 12.0.0.100 客户机mac | 192.168.190.188 路由器mac |
| 2 | 12.0.0.100 客户机mac | 192.168.190.188 代理服务器mac |
| 3 | 12.0.0.100 代理服务器mac | 192.168.190.188 后端服务器mac |
| 4 | 192.168.190.188 后端服务器mac | 12.0.0.100 路由器mac |
| 5 | 192.168.190.188 路由器mac | 12.0.0.100 客户机mac |
2. 部署示例
基于内网部分操作过程。
① 配置负载调度器
bash
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0
[root@localhost ~]# ifconfig ens33:0 192.168.190.188/32 #配置虚拟IP地址
[root@localhost ~]# vim /etc/sysctl.conf #调整/proc响应参数
[root@localhost ~]# sysctl -p #刷新配置
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# modprobe ip_vs #加载模块
[root@localhost ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@localhost ~]# yum install ipvsadm.x86_64 -y #安装服务
root@localhost ~]# ipvsadm-save >/etc/sysconfig/ipvsadm
[root@localhost ~]# systemctl start ipvsadm.service
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 192.168.190.188:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.190.188:80 -r 192.168.190.101:80 -g
[root@localhost ~]# ipvsadm -a -t 192.168.190.188:80 -r 192.168.190.102:80 -g
#添加真实服务器-a 指定VIP地址及TCP端口-t 指定RIP地址及TCP端口 -r 指定DR模式-g
[root@localhost ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP localhost.localdomain:http rr
-> 192.168.190.101:http Route 1 0 0
-> 192.168.190.102:http Route 1 0 0
[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.190.188:80 rr
-> 192.168.190.101:80 Route 1 0 0
-> 192.168.190.102:80 Route 1 0 0 ② 分别修改 7-1，7-2 节点服务器配置
bash
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum install httpd -y
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# ifconfig lo:0 192.168.190.188/32 #修改回环网卡
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# echo 7-1 > index.html
[root@localhost ~]# vim /etc/sysctl.conf
[root@localhost ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
定义对目标地址为本地IP的ARP询问不同的应答模式0
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 ③ 客户端访问，查看是否轮询
bash
[root@localhost ~]# curl 192.168.190.188
7-2
[root@localhost ~]# curl 192.168.190.188
7-1
[root@localhost ~]# curl 192.168.190.188
7-2
[root@localhost ~]# curl 192.168.190.188
7-1七、LVS、Nginx和HAProxy对比
1. LVS（Linux Virtual Server）
- 功能：LVS是基于Linux内核的负载均衡技术，可通过NAT模式或DR模式进行工作。
- 性能：LVS具有高性能和可扩展性，适用于高并发、大规模的分布式系统。它可以实现网络级别的负载均衡，通过转发请求来分发负载。
- 配置：LVS的配置相对较复杂，需要深入了解和掌握网络和Linux内核相关的知识。
2. Nginx
- 功能：Nginx是一个功能丰富的反向代理服务器，也可以用作负载均衡器。
- 性能：Nginx具有优秀的性能和低内存占用，适用于大规模、高并发的Web应用程序。它使用基于代理模块的负载均衡算法来分发请求。
- 配置：Nginx的配置相对简单，易于理解和使用。它还提供了许多高级的HTTP特性和可扩展的插件系统。
3. HAProxy
- 功能：HAProxy是一个强大的负载均衡和反向代理服务器。
- 性能：HAProxy具有出色的性能，并且能够处理大量的并发连接。它支持多种负载均衡算法和健康检查机制，适用于各种流量类型。
- 配置：HAProxy的配置灵活且可定制。它提供了详细的日志和统计信息，以及动态配置和自动发现的能力。
选择适合的负载均衡器应根据具体需求和场景来决定。如果需要更低级别的负载均衡和高度可定制性，LVS可能是一个不错的选择。如果你的主要关注点是Web应用程序的负载均衡和反向代理，而且需要简单的配置和高性能，Nginx是一个很好的选择。而如果你需要处理多种流量类型和高级的负载均衡功能，HAProxy是一个强大的工具。
八、网络存储协议或文件系统功能应用区别
1. NFS（Network File System）：
- NFS是一种用于在计算机网络上共享文件和目录的协议。
- 它最初由Sun Microsystems开发，用于UNIX和类UNIX系统之间的文件共享。
- NFS使用文件级别访问，通过挂载远程文件系统的方式将文件共享给客户端。
- NFS在跨平台的文件共享中广泛应用，特别适合UNIX/Linux环境。
2. CIFS/SMB（Common Internet File System/Server Message Block）：
- CIFS（SMB）是一种用于在网络上进行文件共享的协议，最初由Microsoft开发。
- 它是Windows操作系统中的主要文件共享协议，也可在其他操作系统上使用，如UNIX、Linux和MacOS。
- CIFS/SMB使用文件级别访问，通过挂载远程共享目录或映射网络驱动器的方式访问文件和目录。
- CIFS/SMB在局域网或广域网环境中广泛应用，支持许多常见的网络文件操作和功能。
3. GFS（Global File System）：
- GFS是一种分布式文件系统，旨在提供在多个服务器上共享和访问文件的能力。
- GFS通常用于解决大规模、高可用性的数据共享需求，如集群环境中的数据库、虚拟化环境等。
- GFS采用块级别的访问方式，通过分布式元数据和数据复制来实现文件的高可靠性和可用性。
- GFS提供了并发访问、高性能和数据一致性等特性，适用于分布式计算和存储环境。
总结来说，NFS适用于UNIX/Linux环境的文件共享，CIFS/SMB用于Windows和跨平台文件共享，而GFS用于大规模集群环境和分布式存储。选择适合的协议或文件系统应根据您的环境、需求和兼容性进行评估。