一.高可用集群
1.1 集群类型
- LB：Load Balance 负载均衡
- LVS/HAProxy/nginx（http/upstream, stream/upstream）
- HA：High Availability 高可用集群
- 数据库、Redis
- SPoF: Single Point of Failure，解决单点故障
- HPC：High Performance Computing 高性能集群
1.2 系统可用性
SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约） A = MTBF / (MTBF+MTTR）
1.3 系统故障
硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素 软件故障：设计缺陷 bug
1.4 实现高可用
提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)
解决方案：建立冗余机制
active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active <--> HEARTBEAT <--> active
1.5.VRRP：Virtual Router Redundancy Protocol
概述：
虚拟路由冗余协议,解决静态网关单点风险
-
利用VRRP，一组路由器（同一个LAN中的接口）协同工作，但只有一个处于Master状态，处于该状态的路由器（的接口）承担实际的数据流量转发任务。在一个VRRP组内的多个路由器接口共用一个虚拟IP地址，该地址被作为局域网内所有主机的缺省网关地址。
-
VRRP决定哪个路由器是Master，Master路由器负责接收发送至用户网关的数据包 并进行转发，以及响应PC对于其网关IP地址的ARP请求。
-
Backup路由器侦听Master路由器的状态，并在Master路由器发生故障时，接替其工作，从而保证业务流量的平滑切换。
物理层:路由器、三层交换机
软件层:keepalived
1.5.1 VRRP 相关术语
-
虚拟路由器：Virtual Router
-
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
-
VIP：Virtual IP
-
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
-
物理路由器：
master：主设备
backup：备用设备
priority：优先级
1.5.2 VRRP 相关技术
通告：心跳，优先级等；
周期性 工作方式：抢占式，非抢占式
安全认证：
-
无认证
-
简单字符认证：预共享密钥
-
MD5
工作模式：
-
主/备：单虚拟路由器
-
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）
二.Keepalived 部署
2.1 keepalived 简介
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
功能：
-
基于vrrp协议完成地址流动
-
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
-
为ipvs集群的各RS做健康状态检测
-
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务
2.2 Keepalived 架构
官方文档：
https://keepalived.org/doc/ http://keepalived.org/documentation.html
http://keepalived.org/documentation.html
用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
2.3 Keepalived 环境准备
实验环境
| 主机名 | IP地址 |
|---|---|
| KA1 | 172.25.254.10 |
| KA2 | 172.25.254.20 |
| webserver1 | 172.25.254.110 |
| webserver2 | 172.25.254.120 |
-
各节点时间必须同步：ntp, chrony
-
关闭防火墙及SELinux
-
各节点之间可通过主机名互相通信：非必须
-
建议使用/etc/hosts文件实现：非必须
-
各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必须
2.4 Keepalived 相关文件
软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived
2.5 Keepalived 安装
安装 keepalived
root@ka1 \~\]# yum install keepalived -y \[root@ka1 \~\]# systemctl start keepalived \[root@ka2 \~\]# yum install keepalived -y \[root@ka2 \~\]# systemctl start keepalived
2.6 KeepAlived 配置说明
配置文件：/etc/keepalived/keepalived.conf
GLOBAL CONFIGURATION
Global definitions： 定义邮件配置， route_id ， vrrp 配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)： 定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS 和 RS
2.6.1 配置虚拟路由
配置master:
vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
[email protected] #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
}
notification_email_from [email protected] #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id ka1.exam.org #每个keepalived主机唯一标识，多节点
重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
#vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
1.无VIP地址
2.配置了单播邻居
3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}配置slave：
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和
VIP不在一个网卡
virtual_router_id 100 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此
值必须唯一，否则服务无法启动
同属一个虚拟路由器的多个keepalived节点必须相同
务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254
值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type PASS #PASS为简单密码(建议使用)
auth_pass 1111 #预共享密钥，仅前8位有效
同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
172.25.250.100/24 dev eth0 label eth0:1 #<IPADDR> dev <STRING> scope <SCOPE>
label <LABEL>
#指定VIP，不指定网卡，默认为eth0,注意：不指
定/prefix,默认32
}
}2.6.2 示例： keepalived配置文件中配置虚拟路由
ka1和ka2中安装软件包：
yum install keepalived -y
主配置文件：
vim /etc/keepalived/keepalived.conf
默认为抢占模式：
配置全局参数：
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.timingding.org
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
配置vip：
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
systemctl start keepalived.service测试：
这里可以快捷一点：使用scp命令直接复制到另一台ka上面
直接复制到ka2上面：
scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/keepalived.conf
ka2上面的优先级设置的低一些：
ka2配置vip的地方要改优先级：
vrrp_instance VI_1 {
state BACKUP ------ 改为BACKUP
interface eth0
virtual_router_id 100
priority 80 ------ 改的比ka1低一些
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}2.6.2.1 抓包命令查看组播信息：
tcpdump -i eth0 -nn host 224.0.0.18
此时ping 172.25.254.100是ping不通的，想ping通，得在全局配置里面加参数 vrrp_iptables，不想加就可以把vrrp_strict注释掉，要么都开，要么就注释掉
iptables -nL
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.timinglee.org
vrrp_skip_check_adv_addr
#vrrp_strict ------注释掉这一行
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_global4 224.0.0.18
}
此时就可以ping通172.25.254.100了。
2.6.3 实现独立子配置文件
vim /etc/keepalived/keepalived.conf
把虚拟路由注释掉：
#vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
#}
加上
include "/etc/keepalived/conf.d/*.conf"
vim /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
systemctl restart keepalived.service
三.Keepalived应用示例
3.1 实现 master/slave 的 Keepalived 单主架构
3.1.1 配置MASTER
root@ka1 \~\]# vim /etc/keepalived/keepalived.conf global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id ka1.timingding.org vrrp_skip_check_adv_addr #vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 #vrrp_mcast_group4 224.0.0.18 #vrrp_iptables } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 100 priority 100 advert_int 1 #preempt_delay 5s authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev eth0 label eth0:1 } }
3.1.2 配置BACKUP
root@ka2 \~\]# vim /etc/keepalived/keepalived.conf global_defs { notification_email { [email protected] } notification_email_from [email protected] smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id ka2.timingding.org vrrp_skip_check_adv_addr #vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 vrrp_mcast_group 224.0.0.18 #vrrp_iptables } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 100 priority 80 advert_int 1 #preempt_delay 5s authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev eth0 label eth0:1 } }
3.1.3 抓包查看
tcpdump -i eth0 -nn host 224.0.0.18
3.2 抢占模式和非抢占模式
默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的 master 角色， 这样会使vip 在 KA 主机中来回漂移，造成网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的 master 角色
非抢占模块下,如果原主机 down 机 , VIP 迁移至的新主机 , 后续也发生 down 时 , 仍会将 VIP 迁移回原主机
master角色下线后，会转移到另一台主机后，master角色重新恢复之后，不会因为优先级抢占vip
3.2.1 非抢占模式 nopreempt
ka1和ka2一样：
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP ---- 也得设置为BACKUP，两台都为备机
interface eth0
virtual_router_id 100
priority 100
advert_int 1
nopreempt ------- 加上这个参数
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}3.2.2 抢占延迟模式preempt_delay
抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP
注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
ka1主机上：ka2也一样
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
advert_int 1
preempt_delay 5s ---- 抢占延时为5s，一般设定一分钟，五分钟，这里演示。
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
3.3vip单播模式
ka1主机上：ka2也一样
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10 ---- 指定谁到谁 ka2上相反
unicast_peer {
172.25.254.20
}
3.3.1 抓包命令查看：
root@ka1 \~\]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
#### 3.4 keepalived实现邮件通知
> 安装邮件发送工具：
>
> dnf install mailx -y
>
> QQ邮箱配置：
>
> vim /etc/mail.rc
>
> 在配置文件最后面加上这5行
>
> set [email protected]
>
> set smtp=smtp.qq.com
>
> set [email protected]
>
> set smtp-auth-password=jxtebbewurjddhci ---- 在QQ邮箱上面登录弄授权码
>
> set smtp-auth=login
>
> 测试发送邮件：
>
> echo test message \|mail -s test [email protected]
>
> 写个脚本：
>
> vim /etc/keepalived/mail.sh
>
> #!/bin/bash
>
> mail_dst="[email protected]"
>
> send_message()
>
> {
>
> mail_sub="HOSTNAME to be $1 vip mopve"
>
> mail_msg="\`date +%F\\ %T\`: vrrp move $HOSTNAME chage $1"
>
> echo $mail_msg \| mail -s "$mail_sub" $mail_dst
>
> }
>
> case $1 in
>
> master)
>
> send_message master
>
> ;;
>
> backup)
>
> send_message backup
>
> ;;
>
> fault)
>
> send_message fault
>
> ;;
>
> \*)
>
> ;;
>
> esac
>
> chmod +x /etc/keepalived/mail.sh
>
> 在ka1和ka2虚拟路由上面添加节点：
>
> vim /etc/keepalived/keepalived.conf
>
> vrrp_instance VI_1 {
>
> state BACKUP
>
> interface eth0
>
> virtual_router_id 100
>
> priority 80
>
> advert_int 1
>
> #preempt_delay 5s
>
> authentication {
>
> auth_type PASS
>
> auth_pass 1111
>
> }
>
> virtual_ipaddress {
>
> 172.25.254.100/24 dev eth0 label eth0:1
>
> }
>
> unicast_src_ip 172.25.254.20
>
> unicast_peer {
>
> 172.25.254.10
>
> }
>
> notify_master "/etc/keepalived/notify.sh master" ----- 添加这三行
>
> notify_backup "/etc/keepalived/notify.sh backup"
>
> notify_fault "/etc/keepalived/notify.sh fault"
>
> }
#### 3.5 实现keepalived的双主架构 master/master
> master/slave的单主架构，同一时间只有一个Keepalived 对外提供服务，此主机繁忙，而另一台主机却 很空闲，利用率低下，可以使用master/master 的双主架构，解决此问题。
>
> master/master 的双主架构：
>
> 即将两个或以上VIP分别运行在不同的 keepalived 服务器，以实现服务器并行提供 web 访问的目的，提高 服务器资源利用率
ka1和ka2上都加上，都有一个主备
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 {
state MASTWE
interface eth0
virtual_router_id 200
priority 80 ----- 优先级不能一样
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
#### 3.6 实现IPVS的高可用性（DR模式）
##### **3.6.1** **应用层监测**
应用层检测： HTTP_GET\|SSL_GET
> HTTP_GET\|SSL_GET {
>
> url {
>
> path \