一、MySQL 主从复制与读写分离概念

1.1 什么是读写分离?

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) 而从数据库处理SELECT查询（读）操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2、为什么要读写分离呢？

因为数据库的"写"（写10000条数据可能要3分钟）操作是比较耗时的。
但是数据库的"读"（读10000条数据可能只要5秒钟）。
所以读写分离，解决的是，数据库的写入：影响了查询的效率。

3、什么时候要读写分离？

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

4、主从复制与读写分离

在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。

因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据、语句做备份。

5、mysql支持的复制类型

STATEMENT：

基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制，执行效率高。
ROW：

基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍。

MIXED：

混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

6、主从复制的工作过程

Master节点需要开启二进制日志，Slave节点需要开启中继日志。

（1）Master 节点将数据的改变记录成二进制日志（bin log） ，当Master上的数据发生改变时（增删改），则将其改变写入二进制日志中。

（2）Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O线程请求Master的二进制事件。（请求二进制数据）

（3）同时Master 节点为每个I/O线程启动一个dump线程 ，用于通知和向其发送二进制事件，I/O线程接收到bin-log内容后，将内容保存至slave节点本地的中继日志（Relay log ）中，Slave节点将启动SQL线程从中继日志中读取二进制事件，在本地重放，即解析成sql 语句逐一执行，使得其数据和Master节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

记住两个日志和三个线程：

两个日志：二进制日志（bin log） 、中继日志（Relay log）

三个线程：I/O线程 、dump线程 、SQL线程 、ack线程

注意：

中继日志通常会位于 OS 缓存中，所以中继日志的开销很小。
复制过程有一个很重要的限制，即复制在 Slave上是串行化的，也就是说 Master上的并行更新操作不能在 Slave上并行操作。
半同步复制，会多一个ack确认线程（ack collector thread），专门用于接收slave 的反馈信息（收集slave节点返回的ack信息）。

7. 数据库主从数据不一致解决方案

方法一：忽略错误后，继续同步

该方法适用于主从库数据相差不大，或者要求数据可以不完全统一的情况，数据要求不严格的情况。

方式二：重新做主从，完全同步

该方法适用于主从库数据相差较大，或者要求数据完全统一的情况。

8 . mysql从服务器挂了恢复后怎么保证数据同步？

物理方法： rsync 磁盘文件同步。使用文件恢复，主节点需要停服务。
主从复制： 将从节点原有库删除，通过偏移量，重新做一次主从复制。

9.半同步复制什么情况下会降为异步复制？什么时候又会恢复同步复制？

当半同步复制发生超时（由rpl_semi_sync_master_timeout 参数控制，默认为10000ms，即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。
当malster dump 线程发送完一个事务的所有事件之后，如果在rpl_ semi_sync_master_ timeout 内，收到了从库的响应，则主从又重新恢复为半同步复制。

二、MySQL主从复制延迟原因和优化方法

主从复制延迟原因：

master服务器高并发，形成大量事务。

网络延迟。

主从硬件设备导致（cpu主频、内存IO、硬盘IO）。

是同步复制，而不是异步复制。

优化方法：

从库优化Mysql参数。比如增大innodb_buffer_pool_size，让更多操作在Mysql内存中完成，减少磁盘操作。
从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了I/O方面性。
从库使用SSD磁盘。
网络优化，避免跨机房实现同步。

三 . MySQL主从复制的几个同步模式

MySQL主从复制的几个同步模式：

●异步复制（Asynchronous replication）

MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

●全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

●半同步复制（Semisynchronous replication）

介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

四. 主从复制案例演示（异步复制）

实验思路：

主从服务器时间同步。
配置主服务器，修改其配置文件，在主数据库中创建一个同步账号授权给从数据库使用。
配置从数据库，修改其配置文件，在从数据库中配置同步。
验证能否同步成功。

实验步骤：

1.每台服务器关闭防火墙。

systemctl disable --now firewalld setenforce 0

1. MYSQL主从服务器时间同步

时间同步：

每台mysql服务器需要设置时间同步，以免数据同步时产生错乱。
如果不通外网，则使用ntp服务。如果通外网，可以使用网络时钟源。

下面将演示主节点使用本地时钟源，从节点进行时间同步。

这两个工具端口号一样，不能同时使用，避免地址冲突

1）主服务器使用本地时钟源。

csharp 复制代码

方式1
[root@localhost ~]# which ntpdate
/usr/sbin/ntpdate
查看ntp绝对路

ntpdate ntp.aliyun.com
能和外网通讯就可以直接时间同步

方式2
 #安装时间同步工具（本地设置时钟源）
 [root@yuji ~]# yum install -y ntp
 
 #修改ntp配置文件
 [root@yuji ~]# vim /etc/ntp.conf

server ntp.aliyun.com iburst

  
 #开启ntpd
 [root@yuji ~]# systemctl start ntpd

bash 复制代码

vim /etc/ntp.conf
server ntp.aliyun.com iburst

css 复制代码

 systemctl start ntpd
 ntpq -p

2）两台从服务器同步主服务器的时间

bash 复制代码

 #安装时间同步工具
 yum install -y ntp
 #开启ntpd
 systemctl start ntpd
 
 #和主服务器进行时间同步
 /usr/sbin/ntpdate 192.168.72.192
 
 #设置定时任务，每30分钟同步一次
 crontab -e  
 */30 * * * * /usr/sbin/ntpdate 192.168.47.100

crontab -l
ntpdate 192.168.47.100

2 . 主服务器的mysql配置

修改配置文件，创建一个同步账号授权给从数据库使用。

ini 复制代码

 [root@yuji ~]# vim /etc/my.cnf
 [mysqld]
 ......
 server-id = 1               #指定服务ID号，master和两台slave都要不同
 log-bin=mysql-bin           #添加，主服务器开启二进制日志
 binlog_format = MIXED       #指定二进制日志(binlog)的记录格式为MIXED
 log-slave-updates=true      #添加，允许slave从master复制数据时可以写入到自己的二进制日志
 expire_logs_days = 7        #设置二进制日志文件过期时间，默认值为0，表示logs不过期
 max_binlog_size = 500M      #设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB
 
 #重启服务
 [root@yuji ~]# systemctl restart mysqld
 
 [root@yuji ~]# mysql -u root -p123456
 #给从服务器授权
 grant replication slave on *.* to 'myslave'@'192.168.72.%' identified by '123123';  
 flush privileges;               #刷新权限
 
 show master status;     #查看主服务器状态
 //显示如下
 +-------------------+----------+--------------+------------------+
 | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB |
 +-------------------+----------+--------------+------------------+
 | mysql-bin.000006  |      603 |              |                  |
 +-------------------+----------+--------------+------------------+
 1 row in set (0.00 sec)
 
 #File 列显示日志名，Position 列显示偏移量

ini 复制代码

 vim /etc/my.cnf
log-bin=mysql-bin  #二进制日志
binlog_format =mixed

csharp 复制代码

systemctl restart mysqld.service 
#重启是文件生效


mysql -uroot -pabc123
登录数据库
grant replication slave on *.* to 'lzq'@'192.168.47.%' identified by '123123'; 
做授权给从服务器
flush privileges;
刷新
show master status;
查看二进制文件位置，位置点变量599

3. 从服务器配置

ini 复制代码

vim /etc/my.cnf
#mysql配置文件

server-id = 2
relay-log=relay-log-bin
#中继日志文件
relay-log-index=relay-log-bin.index

systemctl restart mysqld
重启

以上两台从做一样操作

从7-2服务器

ini 复制代码

mysql -u root -pabc123

mysql> change master to master_host='192.168.47.100',master_port=3306,master_user='lzq',master_password='123123',master_log_file='mysql-bin.000003',master_log_pos=599;
#指定master信息

start slave;
开启从节点服务器

show slave status\G;
查看从节点服务器是否开启

从7-3服务器做同样操作

回到7-1主服务器

sql 复制代码

show databases;
查看所有服务器的库，均为空
 

 创建库，表
 create database kgc;
 use kgc;
 create table  ky31 (id int,name varchar(10),age int,sex char(1));
 insert into ky31 values (1,'ylc',22,'男');
 insert into ky31 values (2,'cyw',12,'男');
 insert into ky31 values (2,'cyw',12,'男');
 insert into ky31 values (4,'scj',66,'女');

主插入了数据

查看

查看从里面是否同步完成

检验

五、主从复制案例演示（半同步复制）

主服务器配置

ini 复制代码

//查看半同步是否在运行
#主数据库执行
show status like 'Rpl_semi_sync_master_status';

quit退出

//主数据库配置
vim /etc/my.cnf				#在 [mysqld] 区域添加下面内容
 ......
 plugin-load=rpl_semi_sync_master=semisync_master.so			#加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=ON								#或者设置为"1"，即开启半同步复制功能
rpl-semi-sync-master-timeout=1000	

systemctl restart mysqld
重启

从服务器7-2配置（只需要开启一个半同步复制，半同步原理哪里讲明了）

ini 复制代码

 vim /etc/my.cnf	
 plugin-load=rpl_semi_sync_slave=semisync_slave.so
 rpl_semi_sync_slave_enabled=ON
  
 systemctl restart mysqld
 重启

sql 复制代码

 mysql -uroot -pabc123
 7-1主,7-2从登录到数据库中


//查看半同步是否在运行
 #主数据库执行
show status like 'Rpl_semi_sync_master_status';
show variables like 'rpl_semi_sync_master_timeout';
#查看超时时间

vbnet 复制代码

 #从数据库执行（此时可能还是OFF状态，需要在下一步重启IO线程后，从库半同步状态才会为ON）
show status like 'Rpl_semi_sync_slave_status';

#在主库查询半同步状态

sql 复制代码

 show status like '%Rpl_semi%';
 
  Rpl_semi_sync_master_clients               | 1   
  #这个数据会随着从服务器开启半同步复制的个数增长，和以上等操作。

检验

7-3从服务器

ini 复制代码

vim /etc/my.cnf	
 ......
 plugin-load=rpl_semi_sync_slave=semisync_slave.so
 rpl_semi_sync_slave_enabled=ON

 systemctl restart mysqld

回到数据库查看状态

vbnet 复制代码

 #从数据库执行（此时可能还是OFF状态，需要在下一步重启IO线程后，从库半同步状态才会为ON）
 show status like 'Rpl_semi_sync_slave_status';

回到从服务器

sql 复制代码

  #在主库查询半同步状态
show status like '%Rpl_semi%';

检验

一般 Slave_IO_Running: No 的可能性：

1、网络不通 2、my.cnf配置有问题 3、密码、file文件名、pos偏移量不对 4、防火墙没有关闭

注：

在一主多从的架构中，如果要开启半同步复制，并不要求所有的从都是半同步复制。
MySQL 5.7极大的提升了半同步复制的性能。 5.6 版本的半同步复制，dump thread 承担了两份不同且又十分频繁的任务：传送binlog 给 slave ，还需要等待 slave 反馈信息，而且这两个任务是串行的，dump thread 必须等待 slave 返回之后才会传送下一个 events 事务。dump thread 已然成为整个半同步提高性能的瓶颈。在高并发业务场景下，这样的机制会影响数据库整体的系统吞吐量(TPS)。 5.7 版本的半同步复制中，独立出一个 ack collector thread ，专门用于接收 slave 的反馈信息。这样 master 上有两个线程独立工作，可以同时发送 binlog 到 slave ，和接收

六 .搭建 MySQL读写分离

MySQL 读写分离原理

读写分离就是只在主服务器上写，只在从服务器上读。基本的原理是让主数据库处理事务性操作，而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

2、目前较为常见的 MySQL 读写分离分为以下两种：

1）基于程序代码内部实现

在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2）基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

（1）MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。

（2）Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。

（3）Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

（4）Mycat。是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MySQL Proxy 需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

arduino 复制代码

Master 服务器：192.168.47.100		mysql5.7
Slave1 服务器：192.168.47.102		mysql5.7
Slave2 服务器：192.168.47.103		mysql5.7
Amoeba 服务器：192.168.47.107		jdk1.6、Amoeba
客户端 服务器：192.168.47.108		      mysql

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

主从复制上个实验已经有了详细过程;

1 . Amoeba服务器配置

7-7配置

php 复制代码

amoeba-mysql-binary-2.2.0.tar.gz 
jdk-6u14-linux-x64.bin

bash 复制代码

chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin

bash 复制代码

mv jdk1.6.0_14/ /usr/local/jdk1.6

bash 复制代码

[root@localhost opt]# cd /etc/profile.d/
[root@localhost profile.d]# vim java.sh

export JAVA_HOME=/usr/local/jdk1.6                     #java家目录
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib   #编译路径
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH    #设置java环境变量
export AMOEBA_HOME=/usr/local/amoeba                   #设置amobeba家目录 
export PATH=$PATH:$AMOEBA_HOME/bin                     #设置amobeba环境变量

ini 复制代码

刷新 [root@localhost profile.d]# source /etc/profile.d/java.sh
查看   [root@localhost profile.d]# java -version

7-7安装amoeba jdk

bash 复制代码

cd /usr/local/
mkdir amoeba
tar xf amoeba-mysql-binary-2.2.0.tar.gz  -C /usr/local/amoeba/

bash 复制代码

cd /usr/local/amoeba/bin
#前往启动文件处

./amoeba
#以当前目录启动

csharp 复制代码

#在主从服务器同时操作

grant all on *.* to amoeba@'192.168.67.%' identified by '123123';
#在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

bash 复制代码

#前往amoeba
cd /usr/local/amoeba/conf
#前往配置文件处
cp amoeba.xml amoeba.xml.bak
#备份xml文件

vim amoeba.xml									
#修改amoeba配置文件

记得将注释去掉

bash 复制代码

cp dbServers.xml dbServers.xml.bak 
#拷贝数据库配置文件

vi dbServers.xml
#修改数据库配置文件

perl 复制代码

/usr/local/amoeba/bin/amoeba start&					
#启动Amoeba软件，在后台执行

netstat -lntp |grep 8066
#查看是否启动成功

测试读写分离

该步骤沿用主从复制配置

7-8

markdown 复制代码

#前往客户端**7-8**
yum install -y mariadb-server mariadb
#安装一个简单配置的mysql数据库
systemctl start mariadb.service
#开启服务

mysql -uamoeba -padmin123 -h 192.168.67.103 -P8066
#登录原先设置的账户

csharp 复制代码

show databases;

select * from yhy;
#查看库和表数据内容是否同步

csharp 复制代码

#在表中添加数据查看同步情况
insert into ky1 values (6, 'sakula酱', 20, '女');

csharp 复制代码

#前往主服务器、从服务器1、从服务器2查看
#进入数据库
select * from ky1;
#查看表数据

#同步没有问题

#证明连接amoeba可以在三台服务器中进行写入操作

ini 复制代码

#需要证明连接amoeba执行写入操作是写入哪一台服务器的

#前往从服务器1-2关掉同步
stop slave;

csharp 复制代码

#现在前往客户端添加数据
insert into ky1 values (7,'uuu',18,'男');

csharp 复制代码

#验证能否实现读的负载均衡
#在从服务器1添加数据
insert into scj.scj1 values (7,'uuu',18,'男');

#在从服务器2添加数据
insert into scj.scj1 values (8,'hhu',18,'男');

csharp 复制代码

#前往客户端查看
#进入数据库
select * from scj.scj1

MySQL 主从复制与读写分离

一、MySQL 主从复制与读写分离概念

1.1 什么是读写分离?

2、为什么要读写分离呢？

3、什么时候要读写分离？

4、主从复制与读写分离

5、mysql支持的复制类型

6、主从复制的工作过程

7. 数据库主从数据不一致解决方案

8 . mysql从服务器挂了 恢复后怎么保证数据同步？

9.半同步复制什么情况下会降为异步复制？什么时候又会恢复同步复制？

二、MySQL主从复制延迟原因和优化方法

三 . MySQL主从复制的几个同步模式

四. 主从复制案例演示（异步复制）

实验步骤：

1. MYSQL主从服务器时间同步

1）主服务器使用本地时钟源。

2）两台从服务器同步主服务器的时间

2 . 主服务器的mysql配置

3. 从服务器配置

五、主从复制案例演示（半同步复制）

六 .搭建 MySQL读写分离

MySQL 读写分离原理

2、目前较为常见的 MySQL 读写分离分为以下两种：

1）基于程序代码内部实现

2）基于中间代理层实现

1 . Amoeba服务器配置

测试读写分离

8 . mysql从服务器挂了恢复后怎么保证数据同步？