MySQL之主从同步、分库分表

1、主从同步的原理

MySQL主从复制的核心是二进制日志

二进制日志(binlog)记录了所有DDL语句和DML语句,但不包括数据查询(select、show)语句。

1.1、复制分三步

  1. master主库在事务提交时,会把数据变更记录在二进制日志文件binlog中。
  2. 从库读取主库的二进制日志文件binlog,写入从库的中继日志relaylog
  3. slave从库重做中继日志中的事件,将改变反映它自己的数据

2.、分库分表

  • 垂直分库
  • 垂直分表
  • 水平分库
  • 水平分表

2.1、垂直分库

以表为依据,根据业务将不同表拆分到不同库中。

  • 按照业务对数据分级管理、维护、监控、扩展
  • 在高并发下,提高磁盘IO和数据量连接数

示例:

在"好又来"商城微服务项目中,一般有以下模块:用户模块,订单模块,商品模块等,

这时可将各个模块的表单独放在不同的库中,

如biz1库(用户模块的表)、biz2库(订单模块的表)、biz3库(商品模块的表)等。

2.2、垂直分表

以字段为依据,根据字段属性将不同字段拆分到不同表中。

  • 冷热数据分离
  • 减少IO争抢,两表互不影响

示例:

同样,在"好又来"商城项目中,

有商品表,表中有字段"商品id"、"商品名称"、"商品价格"、"商品详细描述"。

由于是"好又来"项目发展越来越好,商品越来越多,商品表数据量变得庞大。

这时结合业务根据拆分规则进行"垂直分表",把商品表分为商品表1和商品表2:

商品表1:商品id、商品名称、商品价格

商品表2:商品id、商品详细描述

拆分规则:

  • 不常用的字段单独放一张表,
  • 把text、bolb等大字段拆分出来放附表。

2.3、水平分库

把一个库的数据拆分到多个库中。

  • 解决单库大数据量、高并发的性能瓶颈问题
  • 提高系统稳定性、可用性

示例:

有"发发发"银行,因为发展越来越好,客户从几十万膨胀到几百万,这时需要给系统做升级。对数据库进行拆分。

把一个库的用户拆分到4个库中,根据客户号取模把客户分散到4个库。

路由规则:

  • 有直接根据客户号取模的,也有根据一些特殊的规则生成的号来路由的。

2.4、水平分表

将一个表的数据拆分到多个表中,可以在同一个库,也可以在不同库。

  • 优化单一表数据量过大导致的性能问题
  • 避免IO争抢,减少锁表的几率
相关推荐
吾日三省吾码6 小时前
别只会“加索引”了!这 3 个 PostgreSQL 反常识优化,能把性能和成本一起打下来
数据库·postgresql
chian-ocean6 小时前
百万级图文检索实战:`ops-transformer` + 向量数据库构建语义搜索引擎
数据库·搜索引擎·transformer
那个村的李富贵6 小时前
解锁CANN仓库核心能力:50行代码搭建国产化AIGC图片风格迁移神器
mysql·信息可视化·aigc·cann
小Tomkk6 小时前
数据库 变更和版本控制管理工具 --Bytebase 安装部署(linux 安装篇)
linux·运维·数据库·ci/cd·bytebase
qq_12498707536 小时前
基于JavaWeb的大学生房屋租赁系统(源码+论文+部署+安装)
java·数据库·人工智能·spring boot·计算机视觉·毕业设计·计算机毕业设计
倒流时光三十年7 小时前
SpringBoot 数据库同步 Elasticsearch 性能优化
数据库·spring boot·elasticsearch
码农小卡拉7 小时前
深入解析Spring Boot文件加载顺序与加载方式
java·数据库·spring boot
怣507 小时前
MySQL多表连接:全外连接、交叉连接与结果集合并详解
数据库·sql
wjhx8 小时前
QT中对蓝牙权限的申请,整理一下
java·数据库·qt
冰暮流星8 小时前
javascript之二重循环练习
开发语言·javascript·数据库