binlog日志以及MySQL的数据同步

binlog

binlog是什么

  • 记录所有数据库表结构,表数据的修改,但是不会记录Select和Show这类操作

binlog有几种记录模式

三种记录模式

  • statement: 基于SQL语句的复制

  • row: 基于行的复制,记录每行数据的变更(保证了数据的一致性)

  • mixed: 混合使用statement和row的模式

binlog的应用

  • 系统级应用:主从复制,数据恢复

  • 业务级应用:数据收集

读多写少的场景

  • 可以使用MySQL主从架构来应对

如果读的流量进一步增大,我们是否可以多增加几个从库来应对高并发的读请求

:不可以,MySQL为了将binlog同步给每一个从库,都需要有单独的线程来处理,数据传输多份就要消耗更多的带宽,这会给主库的性能造成很大的压力,不仅不能提升系统性能,反而适得其反,对于生产环境来说,一般都是两到三个从库

MySQL是如何通过Binlog实现数据同步的

数据同步的模式

  • 同步模式:MySQL提交事务的线程会等待所有 从库binlog去同步成功的响应(优点 :不存在丢数据的情况)(缺点:效率低)

  • 异步模式(默认):MySQL提交事务的线程完全不关心binlog是否已经同步到从库,事务执行完成就会返回给客户端响应结果(缺点 :如果主库宕机,数据存在丢失的风险)(优点:效率高)

  • 半同步模式:MySQL提交事务的线程不会等待所有从库binlog同步成功的响应,只要有一部分从库binlog同步成功就会返回给客户端响应结果

数据同步的阶段

  • 数据同步通过三个阶段实现(异步模式)

    • 一阶段:binlog的写入:主库数据写入binlog,再去提交事务,更新存储引擎的数据,事务提交完成后返回给客户端

    • 二阶段:binlog的同步 :MySQL的从库创建的IO线程会连接到主库的binlog,主库会为每一个从库创建一个binlog-dump 线程,然后从库的IO线程从binlog-dump 中接收到主库的文件,把binlog文件写入到本地的relay-log中,最后返回成功的响应给主库

    • 三阶段: binlog重放:从库会创建一个SQL线程,会读取relay-log中的终极日志,重放binlog,从而更新从库中的数据,其实就是把binlog重新执行了一遍,加载到从库的DB中,完成主从的复制

相关推荐
太行山有西瓜汁35 分钟前
达梦DTS工具:批量导出与导入DDL脚本完整指南
运维·服务器·数据库
无盐海40 分钟前
Redis 哨兵模式
数据库·redis·缓存
APItesterCris43 分钟前
高并发场景下的挑战:1688 商品 API 的流量控制、缓存策略与异步处理方案
大数据·开发语言·数据库·缓存
·云扬·1 小时前
InnoDB锁监控与排查:从基础到实战
数据库·oracle
代码扳手1 小时前
Go 微服务数据库实现全解析:读写分离、缓存防护与生产级优化实战
数据库·后端·go
麦麦鸡腿堡1 小时前
Java_MySQL介绍
java·开发语言·mysql
shoubepatien1 小时前
JavaWeb_Web基础
java·开发语言·前端·数据库·intellij-idea
多云的夏天1 小时前
SpringBoot3+Vue3基础框架(1)-springboot+对接数据库表登录
数据库·spring boot·后端
cncdns-james1 小时前
SAP Hana Studio备份生产机数据库——【认识SAP HANA Studio篇】
数据库·sap·sap hana studio
计算机毕设VX:Fegn08951 小时前
计算机毕业设计|基于springboot + vue旅游信息推荐系统(源码+数据库+文档)
java·数据库·vue.js·spring boot·课程设计·旅游