LVS(Linux virual server)

1.LVS（Linux virual server）

LVS 全称 Linux Virtual Server ，是 Linux 内核层实现的高性能、高可用的负载均衡集群技术，由章文嵩博士开发，目前是 Linux 内核的标准模块之一。它的核心作用是将前端的请求流量分发到后端多台真实服务器（Real Server）上，从而提升服务的并发处理能力和可用性。

2.lvs（Linux virtual server）运行原理

2.1lvs****集群体系结构

工作原理：
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

2.2LVS****概念

• DS (Director Server - 负载均衡调度器): 就是类似于餐厅的"前台"。它是集群的入口 ，负责接收用户请求并根据算法转发。

• RS：Real Server （真实业务主机就是后面的"服务员"。它们是真正干活的服务器

• CIP：Client IP （客户端主机的ip）

• VIP: Virtual serve IP VS外网的IP （对外开放的让客户访问的ip）就像餐厅的"招牌电话"，用户只知道访问这个 IP，不知道后面具体是谁在服务。

• DIP: Director IP VS内网的IP （调度器负责访问内网的ip）

• RIP: Real server IP （真实业务主机IP）后面 RS（服务员）自己真实的网卡 IP，用于内部通信

访问流程：CIP <--> VIP == DIP <--> RIP

2.3lvs****集群的类型

lvs-nat： 修改请求报文的目标IP,多目标IP的DNAT
lvs-dr： 操纵封装新的MAC地址
lvs-tun： 在原请求IP报文之外新加一个IP首部
lvs-fullnat： 修改请求报文的源和目标IP

2.3.1nat模式

Ivs-nat:

• 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和
• PORT实现转发
• RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP
• 请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
• 支持端口映射，可修改请求报文的目标PORT
• VS必须是Linux系统，RS可以是任意OS系统

2.3.2.nat****模式数据逻辑

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口

（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口 （9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通 过PREROUTING后被ipvs结果并作nat转发

因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉

2.3.3.DR****模式

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源 IP/PORT，以及目标IP/PORT均保持不变
2.3.4.DR****模式数逻辑

在DR模式中，RS接收到访问请求后不需要回传给VS调度器，直接把回传数据发送给client，所以RS和vs 上都要有vip

2.3.5.DR****模式数据传输过程

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC

3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的MAC

2.3.5.DR****模式的特点

1.Director和各RS都配置有VIP

2.确保前端路由器将目标IP为VIP的请求报文发往Director

3.在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具

arptables -A IN -d VIP -j DROP arptables -A OUT -s VIP -j mangle --mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce

4.RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5.RIP的网关不能指向DIP，以确保响应报文不会经由Director

6.RS和Director要在同一个物理网络

7.请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8.不支持端口映射（端口不能修败）

9.RS可使用大多数OS系统

2.3.6.TUN****模式（了解）

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部

（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP

是CIP）

2.3.7.TUN****模式数据传输过程

1.客户端发送请求数据包，包内有源IP+vip+dport

2.到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头，新添加的IP报文头中包含

TUNSRCIP(DIP)+TUNDESTIP(RSIP1)并发送到RS1

3.RS收到VS调度器发送过来的数据包做出响应，生成的响应报文中包含SRCIP(VIP)+DSTIP（CIP）+port，响应数据包通过网络直接回传给client

2.3.8.TUN****模式特点

1.DIP, VIP, RIP都应该是公网地址

2.RS的网关一般不能指向DIP

3.请求报文要经由Director，但响应不能经由Director

4.不支持端口映射

5.RS的OS须支持隧道功能

3常用调度算法

静态算法（不考虑服务器当前忙不忙）

• RR 一个一个来，轮询 RS分别被调度，当RS配置有差别时不推荐

• WRR: 谁能力强（配置高），谁多干点。比如 A 机器 8 核，B 机器 4 核，那就让 A 接 2 单，B 接 1 单。

• SH： 实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定

DH ：目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

动态算法（主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度）

• LC：least connections （最少链接发） 适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活 动链接数）

• WLC：Weighted LC （权重最少链接） 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

• SED ：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

• NQ ：Never Queue，第一轮均匀分配，后续SED

• LBLC： Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

• LBLCR： LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

4.NAT模式实验

NAT模式环境设定

VS主机中

root@vsnode \~\]# vmset.sh eth0 172.25.254.100 vsnode \[root@vsnode \~\]# vmset.sh eth1 192.168.0.100 vsnode noroute  ### RS1服务器中  ### RS2服务器中  ### 测试环境结果（在vs主机中进行测试）  ## NAT模式实现方法 #### 在vs主机中 1，开启内核路由功能（让VS主机中两个不同的网段进行通信）  2.编写策略并进行测试（记得安装ipvsadm）  更改权重  由此可见 lvs的nat模式已经实现 ## 5.规则持久化 ### 核心概念：什么是持久化？ 简单的说：**让同一个客户端 IP，在一段时间内，始终转发到同一台后端真实服务器（RS）。** **开启持久化 (`-p` 参数)：** LVS 会记录一个小本本（内存中的**持久化模板** ）。一旦记录了"IP A -\> Server1"，那么在设定的倒计时内，IP A 发来的所有请求，**无视调度算法**，统统扔给 Server1。 ### 核心作用 1. **保证会话不丢失**比如登录态、购物车、session 存在后端服务器本地。如果负载均衡每次都换机器，用户会反复掉线、登录失效。 2. **实现 "同一 IP → 同一 RS"** 只要是**同一个源 IP**来的请求，在超时时间内，都扔给同一台后端。 常见配置形式  `-p 3600` 就是 **开启持久化，超时 3600 秒** ### **在vs调度器中** 执行查看命令，你会发现多了一个 `persistent` 标志：  ### 验证实验： #### **全为RS1或RS2**  #### 等待超时 （等待超过设置的时间）  ## 6.DR模式实验 ## DR模式实验过程  ### 在路由器中 设置IP  数据转发策略  ### 在vs调度器中 配置ip  配置eth0网卡  配置lo接口  激活网卡等  ### 在客户端中 配置ip  eth0网卡  激活  ### 在rs1和rs2 中 设置lo接口并设置lo网卡   ##### arp禁止响应（禁止rs服务器响应外网） 目的：既然 RS 上也有 VIP，为了不让局域网内的其他机器（包括路由器）知道 RS 上有这个 IP  * `arp_ignore=1`: 别人问 VIP 是谁，我坚决不回答（除非问的是我的物理 IP）。 * `arp_announce=2`: 我发包出去时，坚决不用 VIP 作为源地址。