LVS
现在lvs已经是linux内核标准的一部分,使用lvs可以达到的技术目标是:通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群,他具有良好的可靠性,可延展性和可操作性,从而以低廉的成本实现最优的性能,Lvs是一个实现负载均衡集群开源软件项目,lvs从逻辑上可以分为调度层, server集群层,和共享存储
一个调度主机,有两个网卡
lvs的工作原理
- 当用户向负载均衡调度器(director server)发起请求,调度器将请求发往内核空间
- prerouting链首先会接受到用户请求,判断目标ip确定是本机ip,将数据包发往input链
- IPVS是工作在input链上的,当用户请求到达input时,ipvs会将用户请求和自己定义好的集群服务器进行比对,如果用户请求就是定义的集群服务,那么此时ipvs会强行修改数据包里的目标ip地址以及端口,并将新的数据包发往POSTROUTING链
- POSTROUTING链接收到数据包后,发现目标ip地址刚好是自己的后端服务器,那么通过选路,将数据包最终发送给后端服务器
lvs组成及术语
1.ipvs:
ip virtual server,一段代码工作在内核空间,ipvs,是真正生效实现
调度的代码(类似nginx中的proxy_pass)
2.ipvsadm
另一段是工作在用户空间,ipvsadm,负责为ipvs内核框架编写规则,定义
谁是集群服务,谁是后端真正的服务器(real server)类似nginx中的
upstrean
DS:前端负责均衡节点(负载均衡服务器)
RS:后端真实工作服务器(web服务器)
vip向外部直接面向用户请求,作为用户请求的目标ip地址(负载均衡的ip地址,提供给用户)
DIP Director Server Ip 和内部主机通讯的ip地址(负责与Real Server交互的内部Ip)
RIP Real Server Ip 后端服务器ip地址
CIP client IP 访问客户端ip地址
vip:对外,公网
dip:对内,局域网
lvs的工作模式
LVS-NAT模式
nat模式工作原理
- 用户请求ds,此时请求的报文会先到内核空间prerouting链,此时报文ip为cip,目标ip为vip
- prerouting检测发现数据包目标ip是本机,将数据包送到input链
- ipvs对比数据包请求的服务是否为集群服务,如果是,修改数据包的目标ip地址为后端服务器的IP地址,然后将数据包发送给POSTROUTING链,此时报文ip为cip,目标ip为rip
- POSTROUTING通过选路,将数据发送给Real Server
- RealServer对比发现目标ip为自己的ip,开始构建响应报文发回给Director Server此时报文的源ip为RIP,目标ip为CIP
- Derector Server在响应客户端前,会将源ip地址修改为自己的VIP,然后响应给客户端,目标ip为cip,此时报文源IP为VIP,目标ip为cip
nat模式的特性
- Rs应该是私有地址,Rs网关必须指向DIP
- DIP和RIP必须在同一个网段内
- 请求和响应报文都应该经过Director Server,高负载场景中Director Server容易成为性能瓶颈
- 支持端口映射
- Rs可是使用任意操作系统
- 缺陷,对Ds压力会比较大,请求和响应都需要经过ds,
nat环境搭建
|-------|---------------------------------------|---------------------------|
| 主机名称 | ip地址 | 功能 |
| web01 | 192.168.118.200 | rs |
| web02 | 192.168.118.201 | realserver |
| nat | vip:192.168.10.100 dip:192.168.118.10 | 负载均衡调度器directorserver,ntp |
| dns | 192.168.118.110 | dns |
web服务器:
下载nginx,在index.html写入内容,启动nginx,编写计划任务
yum -y install nginx
echo "web-----01" > /usr/share/nginx/html/index.html
[root@web01 ~]# nginx
[root@web01 ~]# crontab -e
30 3 * * * /usr/sbin/ntpdate 192.168.118.10 //时间服务器的IP
nat服务器:
需要两块网卡,再添加一块网卡
配置vip网卡:
- 在编辑虚拟网络中创建桥接模式的网卡,并且桥接到有网的适配器上
- 在vmware的虚拟主机资源管理器找到虚拟主机,右键菜单,设置
- 添加新的网卡,自定义为刚才创建的桥接模式网卡
- 此时在虚拟主机中使用ifconfig无法找到新的网卡
- ip a能够查看到新的ens36网卡,没有路由
- 编辑网卡配置
- 重启network服务
同步时间,编写计划任务,配置时间服务器,启动服务,设置开机自启动
142 yum -y install ntpdate.x86_64
143 ntpdate cn.ntp.org.cn
144 which ntpdate
145 crontab -e
* 2 * * * /usr/sbin/ntpdate cn.ntp.org.cn
147 yum -y install ntp
148 systemctl start ntpd
149 systemctl enable ntpd
dns服务器:
[root@dns ~]# yum -y install bind
[root@dns ~]# vim /etc/named.conf //添加any
[root@dns ~]# vim /etc/named.rfc1912.zones
zone "yuanyu.zhangmin" IN {
type master;
file "yuanyu.zhangmin.zone";
allow-update { none; };
};
[root@dns ~]# cd /var/named/
[root@dns named]# cp -p named.localhost yuanyu.zhangmin.zone
[root@dns named]# vim yuanyu.zhangmin.zone
[root@dns named]# named-checkconf /etc/named.conf
[root@dns named]# named-checkconf /etc/named.rfc1912.zones
[root@dns named]# named-checkzone yuanyu.zhangmin.zone yuanyu.zhangmin.zone
[root@dns named]# systemctl restart named
client客户端:
[root@allow ~]# echo "nameserver 192.168.118.110" > /etc/resolve.conf
[root@allow ~]# ping nat.yuanyu.zhangmin -c2
PING nat.yuanyu.zhangmin (192.168.118.135) 56(84) bytes of data.
64 bytes from 192.168.118.135 (192.168.118.135): icmp_seq=1 ttl=64 time=0.639 ms
64 bytes from 192.168.118.135 (192.168.118.135): icmp_seq=2 ttl=64 time=0.305 ms
nat配置规则:在nat服务器配置
安装ipvsadm
[root@nat ~]# yum -y install ipvsadm.x86_64
查看所有的规则,如果已经配置好规则,重启之后也就没有了
清空以往的规则
[root@nat ~]# ipvsadm -C
查看规则
[root@nat ~]# ipvsadm -L -n
新增规则
[root@nat ~]# ipvsadm -A -t 192.168.10.100:80 -s rr
添加主机,即添加rs web01,web02添加规则
[root@nat ~]# ipvsadm -a -t 192.168.10.100:80 -r
192.168.118.200:80 -m
[root@nat ~]# ipvsadm -a -t 192.168.10.100:80 -r
192.168.118.201:80 -m
设置ip转发
[root@nat ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1
设置生效
[root@nat ~]# sysctl -p
net.ipv4.ip_forward = 1 //支持IP转发了
web服务器网关配置:
临时修改web01和web02的网关,网关必须指向dip(调度服务器的对内的ip)
这也要求了rs ip和dip要在同一个网段,因为dip是要作为网关存在的
[root@web01 ~]# route del default
[root@web01 ~]# route add default gw 192.168.118.100
[root@web02 ~]# route del default
[root@web02 ~]# route add default gw 192.168.118.100
升级
lvs-nat模式的优点配置简单,缺点是请求和响应都必须经过ds,容易成为性能瓶颈
希望有这样的模式,请求的时候使用input链进行负载均衡,响应的时候就不要经过ds,直接由rs响应给客户端
在nat模式的时候,请求vip,接收vip的响应
构想 请求vip,接受rip响应,这是不允许 lvs-dr模式,但是我们可以在rs上也配置vip
LVS-DR模式
1.性能更优,回路不再经过ds
2.ds和rs为了保证用户响应,都要求配置统一的vip
3.由于rs是直接响应client,网关一定不能设置为ds 的dip
4.对rs的vip进行抑制,让ds的vip接收请求,rs的vip不接受请求
5.rs的vip绑定点lo回路网卡上
设置ds主机:192.168.118.202
1.在ens33上挂一个IP地址(vip)192.168.118.203,在rs上的vip和这个vip相同
9 ifconfig ens33:0 192.168.118.203 broadcast 192.168.118.203 netmask 255.255.255.255 up
2.设置主机路由
11 route add -host 192.168.118.203 dev ens33:0
3. 安装ipvsadm
13 yum -y install ipvsadm
4.配置规则
ipvsadm -C //清空规则
14 ipvsadm -A -t 192.168.118.203:80 -s rr
15 ipvsadm -a -t 192.168.118.203:80 -r 192.168.118.200 -g
17 ipvsadm -a -t 192.168.118.203:80 -r 192.168.118.201 -g
18 ipvsadm -Ln
注意:
rs不在需要指定端口,dr不支持端口映射,vip上是80端口,最终就是80端口
-m nat
-g gateway
设置rs主机
1.在lo接口上绑定vip
2.设置主机路由
3.抑制rs接收请求
web01:
[root@web01 ~]# ifconfig lo:0 192.168.118.203 broadcast 192.168.118.203 netmask 255.255.255.255 up
[root@web01 ~]# route add -host 192.168.118.203 dev lo:0
[root@web01 ~]# ifconfig
抑制rs的vip接收请求
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
web02的操作与web01一样,可以使用脚本来操作:
[root@web02 ~]# cat arp.sh
ifconfig lo:0 192.168.118.203 broadcast 192.168.118.203 netmask 255.255.255.255 up
route add -host 192.168.118.203 dev lo:0
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
测试使用,查看状态
在浏览器上访问vip 192.168.118.203,在dr上查看详情
[root@dr ~]# ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 192.168.118.203:80 6 140 0 39432 0
-> 192.168.118.200:80 3 12 0 518 0
-> 192.168.118.201:80 3 128 0 38914 0