1.高可用集群
1.1.集群类型
-
LB：Load Balance 负载均衡
LVS/haproxy/nginx（http/upstream,stream/upstream）
-
HA : High Point of Failure 高可用集群
数据库、Redis
-
SPoF：single point Of failure 解决单点故障
HPC：High performmance computing 高性能集群
1.2.系统可用性
SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约）
A = MTBF / (MTBF+MTTR）
99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计
1.3.系统故障
硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素
软件故障：设计缺陷 bug
1.4.实现高可用
提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间) 解决方案：建立冗余机制
1.5.VRRP：Virtual Router Redundancy Protocol
虚拟路由冗余协议,解决静态网关单点风险
-
物理层：路由器、三层交换机
-
软件层：keepalived
1.5.1VRRP相关术语
1.5.2VRRP相关技术
通告：心跳，优先级等；周期性 工作方式：抢占式，非抢占式 安全认证：
工作模式
2.keepalived部署
2.1keepalived简介及功能
简介
Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。因此，Keepalived除了能够管理LVS软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件。
功能：
基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务
2.2keepalived工作原理
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。
虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
2.3keepalived架构
用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
2.4keepalived相关文件
-
软件包名：keepalived
-
主程序文件：/usr/sbin/keepalived
-
主配置件：/etc/keepalived/keepalived.conf
-
配置文件示例：/usr/share/doc/keepalived/
-
UnitFile：/lib/systemd/system/keepalived.service
-
Unit File的环境配置文件：/etc/sysconfig/keepalived
2.6环境
我们基于rhel7
克隆四台rhel7的虚机，分别是
realserver1:172.252.50.110
realserver2:172.25.250.120
KA1:172.252.50.10
KA2:172.25.250.20
VIP：172.25.250.100
关闭防火墙和SElinux
复制代码
realserver1、realserver2主机都下载Apache
[root@realserver1 ~]# yum install httpd -y
[root@realserver1 ~]# systemctl enable --now httpd
[root@realserver1 ~]# echo realserver1 - 172.25.250.110 > /var/www/html/index.html
[root@realserver2 ~]# yum install httpd -y
[root@realserver2 ~]# systemctl enable --now httpd
[root@realserver2 ~]# echo realserver2 - 172.25.250.120 > /var/www/html/index.html
2.7keepalived虚拟路由管理
2.7.1 ka1主机
复制代码
###KA1和KA2主机下载keepalived
[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y
[root@ka1 ~]# rpm -ql | grep keepalived //查看文件
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf //keepalived主配置文件
root@ka1 \~\]# systemctl enable --now keepalived.service
\[root@ka1 \~\]# ifconfig
#### 2.7.2ka2主机
[root@ka1 ~]# scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/keepalived.conf //将KA1里面
/etc/keepalived/keepalived.conf 文件内容复制到KA2的/etc/keepalived/keepalived.conf
##然后我们去KA2主机打开/etc/keepalived/keepalived.conf
[root@ka2 ~]# systemctl enable --now keepalived.service
[root@ka2 ~]# ifconfig
然后我们关闭KA1主机的keepalived,再去KA2主机查看
\[root@ka1 \~\]# systemctl stop keepalived.service
### 2.8 虚拟路由的通信设定
最开始ka1主机或ka2主机是ping不通VIP的
因为默认情况会把VIP访问功能禁掉
iptables -nL
如果想要实现通信
\[root@ka1 \~\]# vim /etc/keepalived/keepalived.conf
### 2.9日志分离
\[root@ka1 \~\]# vim /etc/sysconfig/keepalived
\[root@ka1 \~\]# vim /etc/rsyslog.conf
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# systemctl restart rsyslog.service
[root@ka1 ~]# ll /var/log/keepalived.log
-rw-------. 1 root root 2121218 Aug 12 20:56 /var/log/keepalived.log
### 2.10独立子配置文件
当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理
将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含 子配置文件
\[root@ka1 \~\]# vim /etc/keepalived/keepalived.conf
然后创建目录
## 3.keepalived企业应用示例
### 3.1抢占模式和非抢占模式
#### 3.1.1非抢占模式 nopreempt
默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，
这样会使vip在KA主机中来回漂移，造成网络抖动，
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色
非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机
注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP
**ka1主机**
\[root@ka1 \~\]# vim /etc/keepalived/keepalived.conf
**ka2主机**
\[root@ka2 \~\]# vim /etc/keepalived/keepalived.conf
然后测试结果就是当ka1关闭keepalived时，VIP就会到ka2主机，然后ka1再次开启keepalived时，VIP不会回到ka1主机，而是继续在ka2主机
#### 3.1.2延时抢占模式
> 抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP
>
> preempt_delay # #指定抢占延迟时间为#s，默认延迟300s
>
> 注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
ka1主机配置
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 20
priority 100 #优先级高
preempt_delay 10s #抢占延迟10s
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100/24 dev eth0 label eth0:1
}
}
#KA2主机配置
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 20
priority 80 #优先级低
advert_int 1
preempt_delay 10s #抢占延迟10S
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100/24 dev eth0 label eth0:1
}
}
然后我们做完延时抢占模式实验后建议把延时注释掉，不然会影响后面实验
### 3.2VIP单播配置
默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
注意：启用 vrrp_strict 时，不能启用单播
> #在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使 用业务网络
>
> unicast_src_ip \ #指定发送单播的源IP
>
> unicast_peer {
>
> \#指定接收单播的对方目标主机IP
>
> ......
>
> }
>
> #启用 vrrp_strict 时，不能启用单播,否则服务无法启动,并在messages文件中记录下面信息
**ka1主机**
\[root@ka1 \~\]# vim /etc/keepalived/keepalived.conf
**ka2主机**
\[root@ka2 \~\]# vim /etc/keepalived/keepalived.conf
然后我们关掉ka1主机的keepalived
\[root@ka1 \~\]# systemctl stop keepalived.service
### 3.3通知脚本配置
ka1和ka2主机都下载mailx
yum install mailx -y
qq邮箱通知
\[root@ka2 \~\]# vim /etc/mail.rc
**写脚本**
[root@ka1 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="[email protected]" //你自己的qq邮箱
send_message()
{
mail_sub="$HOSTNAME to be $1 vip move"
mail_msg="`date +%F\ %T`: vrrp move $HOSTNAME chage $1 "
echo $mail_msg | mail -s "$mail_sub" $mail_dst
}
case $1 in
master)
send_message master
;;
backup)
send_message backup
;;
fault)
send_message fault
;;
*)
;;
esac
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh //给脚本执行权限
\[root@ka1 \~\]# vim /etc/keepalived/keepalived.conf
然后
/etc/keepalived/mail.sh fualt //你就会收到邮件
\[root@ka1 \~\]# systemctl stop keepalived.service
\[root@ka1 \~\]# systemctl restart keepalived.service
你也会收到对应的邮件
ka2主机上一样的操作
### 3.4双主机
**ka1主机**
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.250.10
unicast_peer {
172.25.250.20
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 200
priority 80
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.250.10
unicast_peer {
172.25.250.20
}
}
**ka2主机**
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
# preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.250.20
unicast_peer {
172.25.250.10
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
# preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.250.20
unicast_peer {
172.25.250.10
}
}
**测试**
### 3.5实现ipvs的高可用性
#### 3.5.1实现单主机lvs-DR模式
**准备web服务器并使用脚本绑定VIP至web服务器lo网卡**
##rs1主机和rs2主机
[root@realserver1 ~]# yum install httpd -y
[root@realserver2 ~]# yum install httpd -y
[root@realserver1 ~]# echo realserver1 - 172.25.250.110 > /var/www/html/index.html
[root@realserver2 ~]# echo realserver2 - 172.25.250.120 > /var/www/html/index.html
#rs1主机
[root@realserver1 ~]# ip a a 172.25.250.100/32 dev lo
[root@realserver1 ~]#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@realserver1 ~]#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@realserver1 ~]#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@realserver1 ~]#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
#rs2主机
[root@realserver2 ~]# ip a a 172.25.250.100/32 dev lo
[root@realserver2 ~]#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@realserver2 ~]#echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@realserver2 ~]#echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@realserver2 ~]#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
**配置keepalived**
#ka1主机
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.250.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
protocol TCP
real_server 172.25.250.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.250.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
#ka2主机
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.250.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
protocol TCP
real_server 172.25.250.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.250.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
#测试结果
[root@ka1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.250.100:80 wrr
-> 172.25.250.110:80 Route 1 0 0
-> 172.25.250.120:80 Route 1 0 0
TCP 10.10.10.2:1358 rr persistent 50
-> 192.168.200.200:1358 Masq 1 0 0
TCP 10.10.10.3:1358 rr persistent 50
**模拟rs1故障**
**\[root@realserver1 \~\]# systemctl stop httpd**
### 3.6实现其它应用的高可用性 VRRP script
keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先 动态调整，从而实现其它应用的高可用性功能
#### 3.6.1VRRP script配置
分两步实现
vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定 义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至 低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点
#### 3.6.2利用脚本实现主从角色切换
[root@ka1 ~]# cat /mnt/check_file.sh //脚本随便写在那个路径，唯一要注意的就是在配置文件里面的路径要与这里一致
#!/bin/bash
[ ! -f "/mnt/file" ]
[root@ka1 ~]# chmod +x /mnt/check_file.sh //给脚本执行权限
###################
[root@ka1 ~]# sh /etc/keepalived/test.sh
[root@ka1 ~]# echo $?
0 //如果没有/mnt/file这个文件，那么返回0，不会做任何改变
[root@ka1 ~]# touch /mnt/file
[root@ka1 ~]# sh /etc/keepalived/test.sh
[root@ka1 ~]# echo $?
1 //如果有/mnt/file这个文件，返回为1，那么就会触发降低权重
#####################
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_script check_file {
script "/mnt/check_lee.sh" #此脚本返回值为非0时，会触发下面OPTIONS执行
interval 1
weight -30
fall 2
rise 2
timeout 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100/24 dev eth0 label eth0:1
}
teack_script {
check_file
}
unicast_src_ip 172.25.250.10
unicast_peer {
172.25.250.20
}
}
#### 3.7.3实现haproxy与keepalived的高可用
#在ka1和ka2主机安装haproxy
[root@ka1 ~]# yum install haproxy -y
[root@ka2 ~]# yum install haproxy -y
#在ka1和ka2主机实现haproxy的配置
#ka1主机
[root@ka1 ~]# vim /etc/haproxy/haproxy.cfg
listen webserver
bind 172.25.250.100:80
server web1 172.25.250.110:80 check
server web2 172.25.250.120:80 check
#ka2主机
[root@ka2 ~]# vim /etc/haproxy/haproxy.cfg
listen webserver
bind 172.25.250.100:80
server web1 172.25.250.110:80 check
server web2 172.25.250.120:80 check
#在两个ka1和ka2先实现haproxy的配置
backend webcluster
bind 172.25.250.100:80
mode http
balance roundrobin
server realserver1 172.25.250.110:80 check inter 3 fall 2 rise 5
server realserver2 172.25.250.120:80 check inter 3 fall 2 rise 5
#在两个ka1和ka2两个节点启用内核参数
[root@ka1 ~]# cat /etc/sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.ip_nonlocal_bind = 1 //这条参数
#在ka1中编写检测脚本
[root@ka1 ~]# vim /etc/keepalived/scripts/haproxy.sh
#!/bin/bash
/usr/bin/killall -0 haproxy
[root@ka1 ~]# chmod +X /etc/keepalived/scripts/haproxy.sh
#在ka1中配置keepalived
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_script check_haproxy {
script "/etc/keepalived/scripts/haproxy.sh"
interval 1
weight -30
fall 2
rise 2
timeout 2
}
vrrp_instance web {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.100 dev eth0 label eth0:1
}
track_script {
check_haproxy
}
}
测试
我们把ka1主机的haproxy关掉，可以看到VIP飘到ka2主机上
然后客户机一直访问172.25.250.100 ，会发现访问不会断
这就是haproxy和keepalived联用实现高可用，利用keepalived检测haproxy是否存活，如果存活则不会有任何操作，如果不存活则会把VIP飘到另外一台haproxy存活的主机上，然后客户端主机访问不受影响