云计算实训27——部署LVS负载均衡项目(下)

一、lvs项目概述

DS DIrector Server

前端负责均衡节点（负载均衡服务器）

RS real server

后端真实工作服务器（web服务器）

ip virtual server,一段代码工作在内核空间，ipvs，是真正生效实现调度的代码（类似nginx中的proxy_pass），另一段是工作在用户空间，ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，谁是后端真正的服务器（real server）类似nginx中的upstrean

向外部直接面向用户请求，作为用户请求的目标ip地址（负载均衡的ip地址，提供给用户）

Director Server Ip 和内部主机通讯的ip地址（负责与Real Server交互的内部Ip）

Real Server Ip 后端服务器ip地址

client IP 访问客户端ip地址

lvs的三种工作模式

LVS-NAT模式

LVS-DR模式

Lvs-Tun模式（隧道模式）

二、NAT模式的工作原理

工作原理

用户请求ds，此时请求的报文会先到内核空间prerouting链，此时报文ip为cip，目标ip为vip 2. prerouting检测发现数据包目标ip是本机，将数据包送到input链
ipvs对比数据包请求的服务是否为集群服务，如果是，修改数据包的目标ip地址为后端服务器的IP地址，然后将数据包发送给POSTROUTING链，此时报文ip为cip，目标ip为rip
POSTROUTING通过选路，将数据发送给Real Server
RealServer对比发现目标ip为自己的ip，开始构建响应报文发回给Director Server此时报文的源ip为RIP，目标ip为CIP
Derector Server在响应客户端前，会将源ip地址修改为自己的VIP，然后响应给客户端，目标ip为cip，此时报文源IP为VIP，目标ip为cip

NAT模型的特性

Rs应该是私有地址，Rs网关必须指向DIP
DIP和RIP必须在同一个网段内
请求和响应报文都应该经过Director Server，高负载场景中Director Server容易成为性能瓶颈
支持端口映射
Rs可是使用任意操作系统
缺陷，对Ds压力会比较大，请求和响应都需要经过ds

三、NAT模式搭建-环境准备

准备的机器：

NAT：负载均衡调度器（ds）

内网---dip

外网---vip

web01：真实的服务器（rs）

web02：真实的服务器（rs）

dns：解析域名和IP地址

clinet:测试

步骤：

(1)配置vip网卡

dip（对内）

vip（对外）

编辑--->虚拟网络编辑器--->创建桥接模式网卡--->桥接到有网的适配器

在虚拟主机资源管理器添加新的网卡

设置--->虚拟机设置---> 添加--->网络适配器--->确定

(2)部署规则

安装ipvsadm

yum -y install ipvsadm

查看所有的规则

ipvsadm -Ln

如果已经配置好的规则，重启后就没有了ifconfig

有两块网卡对应两个ip

ens33----对内的，dip ----192.168.1.230

ens36----对外的，vip ----192.168.1.231

配置ipvs规则

ipvsadm -A -t 192.168.1.231:80 -s rr

(3)添加主机

为rs（real server）----web01、web02添加规则

ipvsadm -a -t 192.168.1.231:80 -r 192.168.1.200:80 -m

ipvsadm -a -t 192.168.1.231:80 -r 192.168.1.201:80 -m

(4)查看规则

ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.231:80 rr

-> 192.168.1.200:80 Masq 1 0 0

-> 192.168.1.201:80 Masq 1 0 0

(5)设置ip转发

编辑配置文件

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

让配置文件生效

sysctl -p

(6)为web服务器添加网关配置

临时修改

临时修改web01和web02的网关网关必须指向dip(调度服务器的ip)

删除原有的gw

route del default

修改gw

route add default gw 192.168.1.230

要求rs（真实主机）的ip要与dip(调度服务器的ip在同一网段

lvs-nat模式

优点：配置简单

缺点：请求和响应必须经过ds（调度服务器） ,容易成为性能瓶颈

nat模式---请求vip,接收vip响应

构想---请求vip,接收rip响应

NAT脚本

ds脚本

#!/bin/bash

#配置网卡

echo TYPE="Ethernet" >> /etc/sysconfig/network-scripts/ifcfg-ens36

echo BOOTPROTO="none" >> /etc/sysconfig/network-scripts/ifcfg-ens36

read -p "router name:" router_name

echo NAME='"$rount_name"' >> /etc/sysconfig/network-scripts/ifcfg-ens36

uuidkey=$( uuidgen )

echo UUID='"$uuidkey"' >> /etc/sysconfig/network-scripts/ifcfg-ens36 >> /etc/sysconfig/network-scripts/ifcfg-ens36

echo DEVICE='"$rount_name"' >> /etc/sysconfig/network-scripts/ifcfg-ens36

echo ONBOOT="yes" >> /etc/sysconfig/network-scripts/ifcfg-ens36

echo IPADDR=192.168.10.100 >> /etc/sysconfig/networkscripts/ifcfg-ens36

systemctl restart network

#安装ipvsadm

yum list installed|grep ipvsadm

if[ $? -ne 0 ];then yum -y install ipvsadm

fi

#配置规则

read -p "vip:" vip

read -p "port:" port

read -p "rule:" s

ipvsadm -A -t $vip:$ port -s $s

ip forward

echo "net.ipv4.ip_forward=1" >/etc/sysctl.conf sysctl -p

rs脚本

#!/bin/bash

read -p "dip:" dip

设置网关

route del default route add defualt gw $dip

DR模式

1.性能更优，回路不再经过ds

2.ds和rs为了保证用户响应，都要求配置统一的vip

3.由于rs是直接响应client，网关一定不能设置为ds 的dip

4.对rs的vip进行抑制，让ds的vip接收请求，rs的vip不接受请求

5.rs的vip绑定点lo回路网卡上

在ds的ens33上挂一个vip

ifconfig ens33:0 192.168.1.241 broadcast 192.168.1.241 netmask 255.255.255.255 up

设置主机路由

route add -host 192.168.1.241 dev ens33:0

设置规范

安装ipvsadm

yum -y install ipvsadm

设置规则

ipvsadm -A -t 192.168.1.241:80 -s rr

ipvsadm -a -t 192.168.1.241:80 -r 192.168.1.200 -g

ipvsadm -a -t 192.168.1.241:80 -r 192.168.1.201 -g

rs不在需要指定端口，dr不支持端口映射，vip上是80端口，最终就是80端口

-m 表示----nat

-g 表示-----gateway

设置rs主机

1.在lo接口上绑定vip

ifconfig lo:0 192.168.1.241 broadcast 192.168.1.241 netmask 255.255.255.255 up

2.设置主机路由

route add -host 192.168.2.241dev lo:0

3.抑制rs接收请求

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

4.生成脚本，对web02使用

[root@dr ~]# vim arp.sh

ifconfig lo:0 192.168.1.241 broadcast 192.168.1.241 netmask 255.255.255.255 up

route add -host 192.168.1.241 dev lo:0

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

让脚本生效

source arp.sh

5.测试使用，查看状态

ipvsadm -Ln --stats

[root@dr ~]# ipvsadm -Ln --stats

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes

-> RemoteAddress:Port

TCP 192.168.1.241:80 2 32 0 6841 0

-> 192.168.1.200:80 1 6 0 255 0

-> 192.168.1.201:80 1 26 0 6586 0

dr模式的脚本

ds脚本

#!/bin/bash

#在ens33上挂载一个ip地址

read -p "vip:" vip read -p "mac:" mac read -p "num" num ifconfig $mac:$ num $vip broadcast $vip netmask

255.255.255.255

主机路由

route add -host $vip dev $mac:$ num

#安装ipvsadm

yum list installed|grep ipvsadm

if [ $? -ne 0 ] ; then

yum -y install ipvsadm

fi

#配置规则（不需要设置ip_forword）

ipvsadm -C

read -p "rule:" rule read -p "port:" port ipvsadm -A -t $vip:$ port -s $rule

read -p "rip1:" rip1 ipvsadm -a -t $vip:$ port -r $rip1 -g

read -p "rip2:" rip2 ipvsadm -a -t $vip:$ port -r $rip2 -g

rs脚本

#!/bin/bash

#在ens33上挂载一个ip地址

read -p "vip:" vip read -p "mac:" mac read -p "num" num ifconfig $mac:$ num $vip broadcast $vip netmask

255.255.255.255

主机路由

route add -host $vip dev $mac:$ num

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce