MySQL主从复制&读写分离

读写分离

读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库

读写分离的好处

因为数据库的"写"(写10000条数据可能要3分钟)操作是比较耗时的

但是数据库的"读"(读10000条数据可能只要5秒钟)

所以读写分离,解决的是,数据库的写入,影响了查询的效率

mysql支持的复制类型

  • STATEMENT:基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高。
  • ROW:基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一遍。
  • MIXED:混合类型的复制。默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

主从复制的工作过程

  • Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将其改变写入二进制日志中
  • Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求 Master的二进制事件
  • 同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成 sql 语句逐一执行,使得其数据和 Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒

MySQL 读写分离原理

读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

MySQL 读写分离分类

  • 基于程序代码内部实现

在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。

优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。

  • 基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序。

  • MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断
  • Atlas 是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程
  • Amoeba 由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程

MySQL主从复制延迟

  • master服务器高并发,形成大量事务
  • 网络延迟
  • 主从硬件设备导致 cpu主频、内存io、硬盘io
  • 本来就不是同步复制、而是异步复制

从库优化Mysql参数;比如增大innodb_buffer_pool_size,让更多操作在Mysql内存中完成,减少磁盘操作

从库使用高性能主机,包括cpu强悍、内存加大。避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性;从库使用SSD磁盘

网络优化,避免跨机房实现同步

实验

主从复制

master:192.168.154.10

slave1:192.168.154.20

slave2:192.168.154.40

1、配置ntp文件

2、同步时间

3、主服务器配置

192.168.154.10

4、两台从服务器配置

192.168.154.20
192.168.154.40

5、验证

读写分离

master:192.168.154.10

slave1:192.168.154.20

slave2:192.168.154.40

amoeba客户端:192.168.154.50

mariadb:192.168.154.60

接着主从复制的实验继续

1、安装jdk

192.168.154.10

2、装amoeba

192.168.154.50

3、主从服务器 开放amoeba权限

192.168.154.10
192.168.154.20
192.168.154.40

4、配置amoeba.xml文件

5、配置dbServers.xml文件

6、安装mariabd

192.168.154.60

7、测试主从服务器查询情况

master服务器

8、slave1、slave2

9、测试关闭slave,master的情况

关闭两个slave服务器 是查询不到数据

10、测试客户端查看是否 为轮询策略

相关推荐
小白勇闯网安圈3 小时前
Django 响应对象、文件上传与类视图
数据库·django·sqlite
努力的小雨3 小时前
同一份 SQL 跑多套环境:Ksql 变量怎么用才安全
数据库
科技绘图4 小时前
快鲸GEO vs 传统AI搜索优化:全链路自动化与高效内容生产在转化闭环上的对比
数据库·人工智能·自动化
ltl4 小时前
数据库作为 LLM 记忆体:语义缓存、RAG 与一致性
数据库
ltl4 小时前
WAL 与崩溃恢复:ARIES 协议怎么跑通
数据库
ltl4 小时前
TEE 数据库:EnclaveDB、Oblivious 原语与机密 SQL
数据库
麻瓜code6 小时前
【Mysql】重新学一遍 SQL 执行顺序
数据库·sql
这个DBA有点耶6 小时前
数据库一体机架构演进:从硬件堆叠到软硬深度耦合
服务器·网络·数据库·硬件架构·运维开发·database·数据库架构
一只fish6 小时前
优化器架构对比:Oracle vs PostgreSQL vs MySQL
mysql·postgresql·oracle
安_7 小时前
RAG的向量数据库:为LLM提供语义搜索能力
数据库