Mysql主从复制与读写分离

一、主从复制原理

1.1 MySQL的复制类型

基于语句的复制(STATEMENT, MySQL默认类型) 基于行的复制(ROW) 混合类型的复制(MIXED)

1.2 MySQL主从复制的工作过程;

主-从进行复制

1、为什么复制 ? 为了保证数据完整性

2、谁复制谁? slave角色复制master角色的数据

3、数据放在哪? 放在二进制文件中

4、 mysql-bin.000001 -> 混合类型的复制(MIXED) 记录完整的sql

5、slave 复制二进制文件的日志到本地的节点,保存为中继日志方式

1.3 MySQL 有几种同步方式: 三种

1、异步复制(Async Replication)

2、同步复制(sync Replication)

3、半同步复制(Async Replication)

1.3.1 异步复制(Async Replication)

主库将更新写入Binlog日志文件后,不需要等待数据更新是否已经复制到从库中,就可以继续处理更多的请求。Master将事件写入binlog,但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况下,如果Master宕机,事务在Master上已提交,但很可能这些事务没有传到任何的Slave上。假设有Master->Salve故障转移的机制,此时Slave也可能会丢失事务。MySQL复制默认是异步复制,异步复制提供了最佳性能。

1.3.2 同步复制(Sync Replication)

主库将更新写入Binlog日志文件后,需要等待数据更新已经复制到从库中,并且已经在从库执行成功,然后才能返回继续处理其它的请求。同步复制提供了最佳安全性,保证数据安全,数据不会丢失,但对性能有一定的影响。

1.3.3 半同步复制(Semi-Sync Replication)

主库提交更新写入二进制日志文件后,等待数据更新写入了从服务器中继日志中,然后才能再继续处理其它请求。该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了,才会通知主库上面的等待线程,该操作完毕。

半同步复制,是最佳安全性与最佳性能之间的一个折中。

MySQL 5.5版本之后引入了半同步复制功能,主从服务器必须安装半同步复制插件,才能开启该复制功能。如果等待超时,超过rpl_semi_sync_master_timeout参数设置时间(默认值为10000,表示10秒),则关闭半同步复制,并自动转换为异步复制模式。当master dump线程发送完一个事务的所有事件之后,如果在rpl_semi_sync_master_timeout内,收到了从库的响应,则主从又重新恢复为增强半同步复制。

ACK (Acknowledge character)即是确认字符。

1.4 Mysql应用场景

mysql 数据库

主要的性能是读和写,一般场景来说读请求更多。

根据主从复制可以演变成读写分离,因为读写分离基于主从复制,使用读写分离从而解决高并发的问题。

二、主从复制实验

实验环境以及服务器准备

环境部署 centos7.9

虚拟机服务环境

Master服务器:192.168.10.16 mysql5.7

slave1服务器:192.168.10.14 mysql5.7

Slave2服务器:192.168.10.15 mysql5.7

Amoeba服务器:192.168.10.80 (预备机器) jdk1.6 mycat 二次开发

客户端服务器:192.168.10.13 测试

2.1、主从服务器时间同步

2.1.1 master服务器配置

环境前准备部署

1 安装ntp、修改配置文件

root@master \~\]# yum -y install ntpdate ntp #安装ntp软件 \[root@master \~\]# ntpdate ntp.aliyun.com #时间同步 \[root@master \~\]# vim /etc/ntp.conf #编辑配置文件 fudge 127.127.1.0 stratum 10 #设置本机的时间层级为10级,0级表示时间层级为0级,是向其他服务器提供时间同步源的意思,不要设置为0级 server 127.127.1.0 #设置本机为时间同步源 2 开启NTP服务、关闭防火墙和增强性安全功能 \[root@master \~\]# systemctl start ntpd \[root@master \~\]# systemctl stop firewalld.service \[root@master \~\]# setenforce 0 2.1.2 两台SLAVE服务器配置 1 安装ntp、ntpdate服务 \[root@localhost \~\]# yum install ntp ntpdate -y 2 开启ntp服务,关闭防火墙、增强性安全功能 3 时间同步master服务器 \[root@localhost \~\]# ntpdate 192.168.10.16 4 两台slave服务器配置相同 #master服务器同步阿里云时钟服务器 ntpdate ntp.aliyun.com ntpdate 192.168.10.16 crontable -e \*/10 \* \* \* \* /usr/sbin/ntpdate 192.168.10.16 内网 ntp 外网 同步阿里云时间 ### 2.2、配置主从同步 1 master服务器修改配置文件 \[root@master \~\]# vi /etc/my.cnf #在mysqld模块下修改一下内容 #开启二进制日志文件(之后生成的日志名为master-bin) log_bin=master-bin #开启从服务器日志同步 log_slave-updates=true #主服务器id为1(不可重复) server_id = 1 --------》wq 重启服务 \[root@master \~\]# systemctl restart mysqld 配置规则 \[root@master \~\]# mysql -uroot -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \\g. mysql\> GRANT REPLICATION SLAVE ON \*.\* TO 'myslave'@'192.168.10.%' IDENTIFIED BY '123456'; Query OK, 0 rows affected (0.00 sec) #刷新权限表 mysql\> flush privileges; Query OK, 0 rows affected (0.00 sec) 规则解析:GRANT REPLICATION SLAVE ON \*.\* TO 'myslave'@'192.168.10.%' IDENTIFIED BY '123456'; 给从服务器提权,允许使用slave的身份复制master的所有数据库的所有表,并指定密码为123456 查看master数据库状态 mysql\> show master status; +-------------------+----------+--------------+------------------+-------------------+ \| File \| Position \| Binlog_Do_DB \| Binlog_Ignore_DB \| Executed_Gtid_Set \| +-------------------+----------+--------------+------------------+-------------------+ \| master-bin.000001 \| 412 \| \| \| \| +-------------------+----------+--------------+------------------+-------------------+ 1 row in set (0.00 sec) mysql\> #以上可见产生了master-bin.000001日志文件,定位为412 #从服务器需要定位到此处进行复制 2 从服务器配置 192.168.10.14 192.168.10.15 设置都是一样的 \[root@slave1 \~\]# vi /etc/my.cnf #开启二进制日志文件 log-bin=master-bin #设置server id为22,slave2 为23 server_id = 22 #从主服务器上同步日志文件记录到本地 relay-log=relay-log-bin #定义relay-log的位置和名称(index索引) relay-log-index=slave-relay-bin.index --------》wq log_bin=master-bin server_id = 22 relay-log=relay-log-bin relay-log-index=slave-relay-bin.index 开启从服务器功能 \[root@slave1 \~\]# mysql -uroot -p ............... mysql\> change master to master_host='192.168.10.16',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=412; Query OK, 0 rows affected, 2 warnings (0.02 sec) change master to master_host='192.168.10.16',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=603; mysql\> start slave; Query OK, 0 rows affected (0.01 sec) 查看从服务器状态 mysql\> show slave status\\G; \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* 1. row \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* Slave_IO_State: Waiting for master to send event Master_Host: 192.168.10.16 Master_User: myslave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: master-bin.000001 Read_Master_Log_Pos: 412 Relay_Log_File: relay-log-bin.000002 Relay_Log_Pos: 284 Relay_Master_Log_File: master-bin.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 412 Relay_Log_Space: 455 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 11 Master_UUID: c59043ec-5ad8-11ea-b895-000c29fe085b Master_Info_File: /home/mysql/master.info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it Master_Retry_Count: 86400 Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0 1 row in set (0.00 sec) 同理,开启另一台从服务器同步 ### 2.3、测试数据同步 在主服务器上创建一个数据库 mysql\> create database work; Query OK, 1 row affected (0.00 sec) mysql\> show databases; +--------------------+ \| Database \| +--------------------+ \| information_schema \| \| mysql \| \| performance_schema \| \| test \| \| work \| +--------------------+ 5 rows in set (0.00 sec) 在两台从服务器上直接查看数据库列表 mysql\> show databases; +--------------------+ \| Database \| +--------------------+ \| information_schema \| \| mysql \| \| performance_schema \| \| test \| \| work \| +--------------------+ 5 rows in set (0.00 sec) 以上,主从同步复制配置完成 ## 三、MySQL读写分离 ### 3.1、什么是读写分离? 读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 ### 3.2、为什么要读写分离呢? 因为数据库的"写"(写10000条数据可能要3分钟)操作是比较耗时的。 但是数据库的"读"(读10000条数据可能只要5秒钟)。 所以读写分离,解决的是,数据库的写入,影响了查询的效率。 ### 3.3、什么时候要读写分离? 数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。 ### 3.4、主从复制与读写分离 在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。 ### 3.5、MySQL 读写分离原理 读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。 ## 四、读写分离实验 实验环境以及服务器准备 环境部署 centos7.6 虚拟机服务环境 Master服务器:192.168.10.16 slave1服务器:192.168.10.14 Slave2服务器:192.168.10.15 Amoeba服务器:192.168.10.80 jdk1.6、Amoeba 客户端服务器:192.168.10.13 mysql 测试 注:做读写分离实验之前必须有一 主 两从 环境 ### 4.1 搭建 MySQL读写分离 4.1.1 Amoeba服务器配置 ① ##安装 Java 环境## 因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。 cd /opt/ cp jdk-6u14-linux-x64.bin /usr/local/ cd /usr/local/ chmod +x jdk-6u14-linux-x64 ./jdk-6u14-linux-x64.bin //按yes,按enter mv jdk1.6.0_14/ /usr/local/jdk1.6 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.6 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin export AMOEBA_HOME=/usr/local/amoeba export PATH=$PATH:$AMOEBA_HOME/bin source /etc/profile java -version ② ##安装 Amoeba软件## mkdir /usr/local/amoeba tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/ chmod -R 755 /usr/local/amoeba/ /usr/local/amoeba/bin/amoeba //如显示amoeba start\|stop说明安装成功 ③ ##配置 Amoeba读写分离,两个 Slave 读负载均衡## #先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问 grant all on \*.\* to test@'192.168.10.%' identified by '123456'; #再回到amoeba服务器配置amoeba服务: cd /usr/local/amoeba/conf/ cp amoeba.xml amoeba.xml.bak vim amoeba.xml #修改amoeba配置文件 --30行-- \amoeba\ --32行-- \123456\ --115行-- \master\ --117-去掉注释- \master\ \slaves\ cp dbServers.xml dbServers.xml.bak vim dbServers.xml #修改数据库配置文件 --23行--注释掉 作用:默认进入test库 以防mysql中没有test库时,会报错 \

相关推荐
云边有个稻草人1 小时前
国产化数据库标杆!金仓以五大技术优势,筑牢电力行业数字基石
数据库·金仓数据库·kes
j***12151 小时前
MySQL如何执行.sql 文件:详细教学指南
数据库·mysql
zhouyunjian1 小时前
10-ScheduledThreadPool应用与源码分析
运维·服务器·数据库
叫致寒吧1 小时前
Mysql
数据库·mysql
凯子坚持 c1 小时前
《openGauss向量数据库_助力企业RAG应用落地实践》
数据库
小熊officer1 小时前
mysql创建用户以及赋予权限
数据库·mysql
@游子1 小时前
SQL注入之文件读写(四)
android·数据库·sql
我科绝伦(Huanhuan Zhou)1 小时前
深入探索Oracle数据库空间管理与监控
数据库·oracle
2***63551 小时前
SQL常用语句(基础)大全
数据库·sql·oracle