MySQL 之 MHA高可用

kk起个名吧2024-07-07 14:32

一、 Mysql 高可用解决方案

  • MMM: Multi-Master Replication Manager for MySQL，Mysql主主复制管理器是一套灵活的脚本程序，基于perl实现，用来对mysql replication进行监控和故障迁移，并能管理mysql MasterMaster复制的配置(同一时间只有一个节点是可写的)
  • MHA：Master High Availability，对主节点进行监控，可实现自动故障转移至其它从节点；通过提升某一从节点为新的主节点，基于主从复制实现，还需要客户端配合实现，目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，出于机器成本的考虑，淘宝进行了改造，目前淘宝TMHA已经支持一主一从
  • Galera Cluster：wsrep(MySQL extended with the Write Set Replication)通过wsrep协议在全局实现复制；任何一节点都可读写，不需要主从复制，实现多主读写
  • GR（Group Replication）：MySQL官方提供的组复制技术(MySQL 5.7.17引入的技术)，基于原生复制技术Paxos算法，实现了多主更新，复制组由多个server成员构成，组中的每个server可独立地执行事务，但所有读写事务只在冲突检测成功后才会提交

二、 MHA介绍

  1. 什么是MHA

MHA（master high availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。

MHA的出现是为了解决MySQL的单点故障，MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换过程中最大程度上保证数据的一致性，已达到真正意义上的高可用。

  1. MHA 的组成
  • MHA Node（数据节点）

MHA Node 运行在每台 MySQL 服务器上。（注意是每一台！！包含所有的MySQL节点和manager节点）

  • MHA Manager（管理节点）

MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群；也可以部署在一台 slave 节点上。 MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master， 然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。

  1. MHA的特点
  • 自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失；
  • 使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他的slave服务器上，因此可以保证所有节点的数据一致性。
  • 目前MHA支持一主多从架构，最少三台服务，一主两从。
  1. MHA的工作原理

实际就是manager的工作过程。manager会周期性探测master的状态，一旦发现master故障以后，会根据默认，将目前收到最新数据的从节点指定为新的master，所有的其他从节点指向新的master，同时VIP从原来的主漂移到新的主。这些对客户端来说都是透明的。

三、 实现MHA高可用

  • 7-1 mha管理节点
  • 7-5 master
  • 7-6 slave1
  • 7-7 slave2

1. 环境准备，关闭防火墙

js 复制代码 
systemctl disable --now firewalld
setenforce 0

2. 主节点（7-1）安装 管理和客户端工具

js 复制代码 
cd /opt  //上传rpm包
yum install epel-release.noarch -y  //有依赖性，用yum安装需要先安装epel源
yum install -y mha4mysql-manager-0.58-0.el7.centos.noarch.rpm 
yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

3. 其余所有节点（7-5，7-6，7-7）安装客户端

js 复制代码 
cd /opt  //上传rpm包
yum install epel-release.noarch -y
yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

4. 7-1做ssh，所有节点基于key验证

js 复制代码 
[root@node1 opt]#  ssh-keygen
[root@node1 opt]#  ssh-copy-id  127.0.0.1  //自己和自己连，生成秘钥
[root@node1 opt]#  cd ~   //切换到家目录
[root@node1 ~]#  rsync -a .ssh   192.168.204.50:/root/
[root@node1 ~]#  rsync -a .ssh   192.168.204.60:/root/
[root@node1 ~]#  rsync -a .ssh   192.168.204.70:/root/

5. 主节点（7-1）建立mha文件夹和配置文件

js 复制代码 
[root@node1 opt]#  mkdir /etc/mastermha
[root@node1 opt]#  vim /etc/mastermha/app1.cnf  //手写.cnf结尾的配置文件

[server default]
user=mhauser        //用于远程连接Mysql所有节点的用户，需要有管理员权限
password=Admin@123  
manager_workdir=/data/mastermha/app1/   //目录会自动生成，无需手动创建
manager_log=/data/mastermha/app1/manager.log
remote_workdir=/data/mastermha/app1/
ssh_user=root    //用于实现远程ssh基于key的连接，访问二进制日志
repl_user=test   //主从复制的用户信息
repl_password=Admin@123
ping_interval=1  //健康性检查的时间间隔
master_ip_failover_script=/usr/local/bin/master_ip_failover  //切换vip的perl脚本
check_repl_delay=0
master_binlog_dir=/data/mysql/  //指定二进制日志存放的目录


[server1]
hostname=192.168.204.50
candidate_master=1

[server2]
hostname=192.168.204.60
candidate_master=1  //设置为优先候选master，即使不是集群中事件最新的slave，也会优先当

[server3]
hostname=192.168.204.70

6. 准备切换脚本

js 复制代码 
//上传脚本
[root@node1 opt]#  vim master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
my $vip = '192.168.204.188/24';  //设置Virtual IP
my $gateway = '192.168.204.2';   //网关Gateway IP
my $interface = 'ens33';
my $key = "1";
my $ssh_start_vip = "/sbin/ifconfig $interface:$key $vip;/sbin/arping -I $interface -c 3 -s $vip $gateway >/dev/null 2>&1";
my $ssh_stop_vip = "/sbin/ifconfig $interface:$key down";
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);
exit &main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
# $orig_master_host, $orig_master_ip, $orig_master_port are passed.
# If you manage master ip address at global catalog database,
# invalidate orig_master_ip here.
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
# all arguments are passed.
# If you manage master ip address at global catalog database,
# activate new_master_ip here.
# You can also grant write access (create user, set read_only=0, etc) here.
my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
`ssh $ssh_user\@$orig_master_host \" $ssh_start_vip \"`;
exit 0;
}
else {
&usage();
exit 1;
}
}
# A simple system call that enable the VIP on the new master
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

[root@node1 opt]#  cp master_ip_failover  /usr/local/bin/  //移动至之前的配置文件中规定的地方
[root@node1 opt]#  chmod +x  /usr/local/bin/master_ip_failover  //添加执行权限

7. 实现主从复制

  • 7-5 matster
js 复制代码 
[root@node5 opt]#  vim  /etc/my.cnf
server_id=50$
log-bin=/data/mysql/mysql-bin$
skip_name_resolve=1$  //禁用反向解析
general_log$          //开启通用日志
[root@node5 opt]#  systemctl restart mysqld

[root@node5 opt]#  mysql -uroot -pabc123
mysql> show master status;
mysql> grant replication slave on *.* to test@'192.168.204.%' identified by 'Admin@123';  //建立复制用户
mysql> grant all on *.* to mhauser@'192.168.204.%' identified by 'Admin@123';  //建立mha管理账户
mysql> flush privileges;  //刷新
  • 7-6 slave1
js 复制代码 
[root@node6 opt]#  vim  /etc/my.cnf
server_id=60
log-bin=/data/mysql/mysql-bin
read_only
relay_log_purge=0
skip_name_resolve=1
general_log
[root@node6 opt]#  systemctl restart mysqld

[root@node6 opt]#  mysql -uroot -pabc123
CHANGE MASTER TO
  MASTER_HOST='192.168.204.50',
  MASTER_USER='test',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154;
mysql> start slave;
mysql> show slave status\G;
  • 7-7 slave2
js 复制代码 
[root@node7 opt]#  vim  /etc/my.cnf
server_id=70
log-bin=/data/mysql/mysql-bin
read_only
relay_log_purge=0
skip_name_resolve=1
general_log
[root@node7 opt]#  systemctl restart mysqld

[root@node7 opt]#  mysql -uroot -pabc123
CHANGE MASTER TO
  MASTER_HOST='192.168.204.50',
  MASTER_USER='test',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154;
mysql> start slave;
mysql> show slave status\G;

8. 7-5 master设置虚拟地址

js 复制代码 
[root@node5 opt]#  ifconfig ens33:1 192.168.204.188/24

9. 在运行前需要先检测环境是否符合

在7-1 mha管理节点执行

  • 检测 ssh 免密登录是否成功
js 复制代码 
[root@node1 opt]#  masterha_check_ssh --conf=/etc/mastermha/app1.cnf
  • 检测主从复制 是否可以
js 复制代码 
[root@node1 opt]#  masterha_check_ssh --conf=/etc/mastermha/app1.cnf
  • 查看状态未开启
js 复制代码 
[root@node1 opt]#  masterha_check_status --conf=/etc/mastermha/app1.cnf
app1 is stopped(2:NOT_RUNNING).

10. 开启mha

js 复制代码 
//非后台
masterha_manager --conf=/etc/mastermha/app1.cnf 

//开启MHA，默认是前台运行，生产环境一般为后台执行
nohup masterha_manager --conf=/etc/mastermha/app1.cnf &> /dev/null 

//查看状态
masterha_check_status --conf=/etc/mastermha/app1.cnf

11. 测试

js 复制代码 
[root@node5 opt]#  systemctl stop mysqld.service  //模拟 mysql 主节点故障
  • 查看mha服务日志
js 复制代码 
[root@node1 ~]#  tail  -f  /data/mastermha/app1/manager.log
  • 切换的过程会将从7-6服务器的readonly指令改成可写
js 复制代码 
[root@node6 opt]#  mysql -uroot -pabc123
mysql> select @@read_only;
  • 在从节点7-7上查看slave信息，可以看到指向新的主
js 复制代码 
[root@node7 opt]#  mysql -uroot -pabc123
mysql> show slave status\G;

12. 如果要再次开启MHA

bash 复制代码 
rm -rf /data/mastermha/app1/app1.failover.complete
//需要删除该文件
相关推荐
冰万森29 分钟前
亚马逊AI编程工具Amazon Q 和 Amazon CodeWhisperer使用教程
云计算·aws
静听山水2 天前
腾讯云新开端口
云计算·腾讯云
CLOUD ACE2 天前
谷歌地图 | 3D 地图新功能：开发更简单，体验更丰富
云计算·云服务·谷歌云·谷歌地图·3d地图
StevenZeng学堂2 天前
【云原生安全篇】Cosign助力Harbor验证镜像实践
网络·安全·云原生·容器·kubernetes·云计算·go
xybDIY2 天前
解决AWS Organizatiion邀请多个Linker账号数量限额问题
云计算·aws
mqiqe2 天前
云计算Openstack Neutron
云计算·openstack·perl
mqiqe2 天前
云计算Openstack Keystone
数据库·云计算·openstack
小安运维日记2 天前
Linux云计算 |【第四阶段】RDBMS1-DAY3
运维·服务器·sql·mysql·云计算·求职招聘
szqcloud2 天前
腾讯云SDK产品功能
云计算·音视频·腾讯云
QQ39575332373 天前
提升企业数字化转型的关键：选择合适的IT解决方案
大数据·云计算
热门推荐
01分享几个惊艳的 Three.js 个人站点02【经验分享】Ubuntu22.04安装微信(linux官方版)032024年高教社杯数学建模国赛C题超详细解题思路分析04组基轨迹建模 GBTM的介绍与实现（Stata 或 R）05安卓系列机型永久去除data分区加密 详细步骤解析06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07springer 在线投稿编译踩坑08Ubuntu24.04安装中文输入法09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10CTF网络安全大赛简单的web抓包题目：HEADache