【MySQL运维篇】------日志、主从复制、分库分表、读写分离
-
- [1. 日志](#1. 日志)
-
- [1.1 错误日志](#1.1 错误日志)
- [1.2 二进制日志](#1.2 二进制日志)
- [1.3 查询日志](#1.3 查询日志)
- [1.4 慢查询日志](#1.4 慢查询日志)
- [2. 主从复制](#2. 主从复制)
-
- [2.1 概述](#2.1 概述)
- [2.2 原理](#2.2 原理)
- [3. 分库分表](#3. 分库分表)
-
- [3.1 拆分方式](#3.1 拆分方式)
- [3.2 Mycat](#3.2 Mycat)
- [3.3 总结](#3.3 总结)
- [4. 读写分离](#4. 读写分离)
-
- [4.1 一主一从](#4.1 一主一从)
- [4.2 双主双从](#4.2 双主双从)
1. 日志
1.1 错误日志
- 错误日志是 MySQL 中最重要的日志之一，它记录了当 mysqld 启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时，建议首先查看此日志。
- 该日志是默认开启的，默认存放目录
/var/log/，默认的日志文件名为mysqld.log。查看日志位置：show variables like'%log_error%'
1.2 二进制日志
-
二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但不包括数据查询（SELECT、SHOW）语句。
-
作用：
- 灾难时的数据恢复
- MySQL的主从复制
-
在 MySQL8 版本中，默认二进制日志是开启着的，涉及到的参数如下：
show variables like '%log_bin%' -
1. 日志格式：
| 日志格式 | 含义 |
|---|---|
| STATEMENT | 基于SQL语句的日志记录，记录的是 SQL 语句，对数据进行修改的 SQL 都会记录在日志文件中。 |
| ROW | 基于行的日志记录，记录的是每一行的数据变更。（默认) |
| MIXED | 混合了 STATEMENT 和 ROW 两种格式，默认采用STATEMENT，在某些特殊情况下会自动切换为ROW进行记录。 |
show variables like '%binlog_format%';
- 2. 日志查看：
由于日志是以二进制方式存储的，不能直接读取，需要通过二进制日志查询工具 mysqlbinlog 来查看，具体语法：
mysqlbinlog [参数选项] logfilename
参数选项：
-d 指定数据库名称，只列出指定的数据库相关操作。
-o 忽略掉日志中的前n行命令。
-V 将行事件(数据变更）重构为 SQL 语句。
-W 将行事件（数据变更）重构为 SQL 语句，并输出注释信息。- 3. 日志删除：
对于比较繁忙的业务系统，每天生成的 binlog 数据巨大，如果长时间不清除，将会占用大量磁盘空间。可以通过以下几种方式清理日志：
| 指令 | 含义 |
|---|---|
reset master |
删除全部 binlog 日志，删除之后，日志编号，将从 binlog.000001 重新开始 |
purge master logs to 'bilog. ******' |
删除****** 编号之前的所有日志 |
purge master logs before 'yyyy-mm-dd hh24:mi:ss' |
删除日志为yyyy-mm-dd hh24:mi:ss之前产生的所有日志 |
也可以在 mysql 的配置文件中配置二进制日志的过期时间，设置了之后，二进制日志过期会自动删除。show variables like '%binlog_expire_logs_seconds%';
1.3 查询日志
-
查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。默认情况下，查询日志是未开启的。如果需要开启查询日志，可以修改MySQL的配置文件
/etc/my.cnf文件，添加如下内容：#该选项用来开启查询日志，可选值：0或者1；0代表关闭，1代表开启
general_log=1
#设置日志的文件名，如果没有指定，默认的文件名为host_name.log
general_log_file=mysql_query.log
1.4 慢查询日志
-
慢查询日志记录了所有执行时间超过参数
long_query_time设置值并且扫描记录数不小于min_examined_row_limit的所有的 SQL 语句的日志，默认未开启。long_query_time默认为 10 秒，最小为 0 ，精度可以到微秒。#慢查询日志
slow_query_log=1
#执行时间参数
long_query_time=2 -
默认情况下，不会记录管理语句，也不会记录不使用索引进行查找的查询。可以使用
log_slow_admin_statements和更改此行为log_queries_not_using_indexes，如下所述。#记录执行较慢的管理语句
log_slow_admin_statements=1
#记录执行较慢的未使用索引的语句
log_queries_not_using_indexes=1
2. 主从复制
2.1 概述
- 主从复制是指将主数据库的 DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。
- MySQL 支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制。
- MySQL 主从复制的优点：
- 主库（Master）出现问题，可以快速切换到从库（Slave）提供服务。
- 实现读写分离，降低主库（Master）的访问压力。
- 可以在从库（Slave）中执行备份，以避免备份期间影响主库（Master）服务。
2.2 原理
从上图来看，复制分成三步：
- Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog中。
- 从库中的 IOThread （一个线程）读取主库的二进制日志文件 Binlog ，写入到从库的中继日志Relay Log。
- Slave 重做中继日志中的事件，将改变反映它自己的数据。（通过SQLThread）
3. 分库分表
- 分库分表的中心思想都是将数据分散存储，使得单一的数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。
3.1 拆分方式
1. 垂直拆分：
-
垂直分库：以表为依据，根据业务将不同表拆分到不同库中。
-
- 每个库的表结构都不一样。
-
- 每个库的数据也不一样。
-
- 所有库的并集是全量数据。
-
-
垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。
-
- 每个表的结构都不一样。
-
- 每个表的数据也不一样，一般通过一列（主键/外键）关联。
-
- 所有表的并集是全量数据。
-
2. 水平拆分：
-
水平分库 ：以字段 为依据，按照一定策略，将一个库的数据拆分到多个库中。
-
- 每个库的表结构都一样。
-
- 每个库的数据都不一样。
-
- 所有库的并集是全量数据。
-
-
水平分表 ：以字段 为依据，按照一定策略，将一个表的数据拆分到多个表中。
-
- 每个表的表结构都一样。
-
- 每个表的数据都不一样。
-
- 所有表的并集是全量数据。
-
实现分库分表的技术：
shardingJDBC ：基于 AOP 原理，在应用程序中对本地执行的 SQL 进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持 java 语言，性能较高。
MyCat：数据库分库分表中间件，不用调整代码?即可实现分库分表，支持多种语言，性能不及前者。
3.2 Mycat
- Mycat是开源的、活跃的、基于 Java 语言编写的 MysQL 数据库中间件。可以像使用 mysql 一样来使用 mycat ，对于开发人员来说根本感觉不到 mycat 的存在。
- Mycat 不存数据，只是在逻辑上对数据进行分片处理。
1. Mycat 的分片规则
-
- 范围分片
-
- 取模分片（根据指定字段值求模）
-
- 一致性 hash 分片（计算字段 hash 值进行分片）
-
- 枚举分片（根据字段枚举值分片）
-
- 应用指定分片（由应用自主决定路由到哪个分片，先求取指定字段的子字符串（必须为数字）计算分片号）
-
- 固定分片 hash 算法（取 id 的二进制低10位与1111111111进行位&运算（分片字段必须为数字类型））
固定分片 hash 算法与取模分片的区别：
取模：连续的值分别分配到各个不同分片
固定分片 hash 算法：会将连续的值分配到相同的分片，降低事务处理难度，可以均匀分配，也可以非均匀分配
-
- 字符串 hash 解析分片（截取字符串中指定位置的子字符串，计算子字符串的 hash 值再进行位与运算（&(1024-1)）
-
- 按（天）日期分片
-
- 按自然月分片（一个月存在一个分片节点中）
2. Mycat 原理
3. Mycat 的管理及监控
-
Mycat默认开通2个端口，可以在 server.xml 中进行修改。
- 8066 数据访问端口，即进行DML和DDL操作。
- 9066 数据库管理端口，即 mycat 服务管理控制功能，用于管理 mycat 的整个集群状态
-
通过 Mycat-eye(Mycat-web) 对 mycat-server 提供监控服务，功能不局限于 mycat-server 使用。需要安装 zookeeper （ Mycat-eye 的运行过程中需要依赖 zookeeper）和 Mycat-web ,安装并关联后可通过访问地址进入可视化网页来监控。
3.3 总结
- 分库分表介绍
核心：将单台数据库服务器的数据分散（垂直拆分、水平拆分）存储在多台数据库中。 - Mycat 概述
Mycat 是一个开源的分库分表的中间件 - Mycat 入门
入门程序 - Mycat 配置
Schema.xml、rule.xml、server.xml - Mycat 分片
分片规则：范围、取模、枚举、一致性 hash 、固定分片 hash 算法、字符串 hash 解析算法、按天分片、按自然月分片。 - Mycat 管理及监控
原理、管理、监控工具
4. 读写分离
- 读写分离，简单地说是把对数据库的读和写操作分开，以对应不同的数据库服务器。主数据库（Master）提供写操作，从数据库（Slave）提供读操作，这样能有效地减轻单台数据库的压力。
- 通过 Mycat 即可轻易实现上述功能，不仅可以支持 MySQL ，也可以支持 Oracle 和 SQLServer。
- 主从库复制是基于二进制日志 binlog 实现的。
4.1 一主一从
- 主库写，从库读
- 主库数据能同步到从库，从库数据不能同步到主库
4.2 双主双从
- 能解决主节点 Master 宕机之后，业务只能读不能写的问题。
- 一个主机 M1 用于处理所有写请求 ，它的从机 S1 和另一台主机 M2 以及 S2 负责所有读请求 ，当 M1 宕机之后， M2 负责写请求，M1 与 M2 互为备机。