MySQL备份与恢复

目录

一、MySQL日志管理

1.1.日志分类

错误日志

通用查询日志

二进制日志

中继日志

慢查询日志

1.2.日志配置

1.3.日志查询

二、数据备份

2.1.数据备份的重要性

2.2.数据库备份的分类

[2.2.2从数据库的备份策略角度,备份可分为完全备份、差异备份、 增量备份](#2.2.2从数据库的备份策略角度,备份可分为完全备份、差异备份、 增量备份)

物理备份

逻辑备份:

完全备份

[2.3. 备份方法](#2.3. 备份方法)

[2.3.1 物理冷备份](#2.3.1 物理冷备份)

[2.3.2 专用备份工具 mysqldump 或 mysqlhotcopy](#2.3.2 专用备份工具 mysqldump 或 mysqlhotcopy)

[2.3.3 通过启用二进制日志进行增量备份](#2.3.3 通过启用二进制日志进行增量备份)

[2.3.4 通过第三方工具备份](#2.3.4 通过第三方工具备份)

三、MySQL完全备份

3.1.常见的备份方法

四、数据库完全备份与恢复

4.1.物理冷备份与恢复

4.2.mysqldump备份与恢复

完全备份一个或多个完整的库 (包括其中所有的表)

完全备份指定库中的部分表

[完全备份 MySQL 服务器中所有的库](#完全备份 MySQL 服务器中所有的库)

完全备份指定库中的部分表

查看备份文件

[4.3 恢复数据库](#4.3 恢复数据库)

4.3.1.source恢复

4.3.2.mysql恢复

[4.4 恢复表](#4.4 恢复表)

4.4.1.source恢复

4.4.2.mysql恢复

[五、MySQL 增量备份与恢复](#五、MySQL 增量备份与恢复)

5.1.恢复的方式

[5.1.1 一般恢复](#5.1.1 一般恢复)

[5.1.2 基于位置恢复](#5.1.2 基于位置恢复)

[5.1.3 基于时间点恢复](#5.1.3 基于时间点恢复)

[5.2 二进制文件介绍](#5.2 二进制文件介绍)

5.2.1.开启二进制日志功能

[5.2.2 二进制日志(binlog)的3种不同的记录格式](#5.2.2 二进制日志(binlog)的3种不同的记录格式)

[5.2.3 查看二进制日志文件的内容](#5.2.3 查看二进制日志文件的内容)

[5.2.4 二进制日志中需要关注的部分](#5.2.4 二进制日志中需要关注的部分)

[5.3 增量备份过程(全备+增备)](#5.3 增量备份过程(全备+增备))

5.3.1.使用mysqldump

[5.4 增量恢复](#5.4 增量恢复)

5.4.1.一般恢复

5.4.2.断点恢复

[5.4.3. 基于时间点恢复](#5.4.3. 基于时间点恢复)

六、总结


一、MySQL日志管理

MySQL的日志默认保存位置为:/usr/local/mysql/data下

配置文件位于:/etc/my.cnf文件中的[mysqld]内

1.1.日志分类

错误日志

错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

log-error=/usr/local/mysql/data/mysql_error.log #指定日志的保存位置和文件名

通用查询日志

通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的

general_log=ON

general_log_file=/usr/local/mysql/data/mysql_general.log

二进制日志

二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启

log-bin=mysql-bin

log_bin=mysql-bin

中继日志

一般情况下它在Mysql主从同步(复制)、读写分离集群的从节点开启。主节点一般不需要这个日志

慢查询日志

慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便提醒优化,默认是关闭的

s1ow_query_log=ON

slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log

long_query_time=5 #设置超过5秒执行的语句被记录,缺省时为10秒

1.2.日志配置

修改配置文件
vim /etc/my.conf

css 复制代码
#错误日志
log-error=/usr/local/mysql/data/mysql_error.log	 
#通用查询日志
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
#二进制日志
log-bin=mysql-bin	
#慢查询日志
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5
#配置文件添加完后需要重启MySQL
systemctl restart mysql
css 复制代码
复制段
log-error=/usr/local/mysql/data/mysql_error.log
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
log-bin=mysql-bin
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5

1.3.日志查询

登入MySQL数据库,查询日志是否开启

css 复制代码
#查看通用查询日志是否开启
show variables like 'general%';	
#查看二进制日志是否开启
show variables like 'log_bin%';	
#查看慢查询日功能是否开启
show variables like '%slow%';		
#查看慢查询时间设置
show variables like 'long_query_time';
#在数据库中设置开启慢查询的方法
set global slow_query_log=ON;		

#variables 表示变量

#like 表示模糊查询

#%xxx,以什么结尾,xxx%以什么开头,%xxx%包含

二、数据备份

2.1.数据备份的重要性

备份的主要目的是灾难恢复

在生产环境中,数据的安全性至关重要

任何数据的丢失都可能产生严重的后果

造成数据丢失的原因

  • 程序错误
  • 人为操作错误
  • 运算错误
  • 磁盘故障
  • 灾难(如火灾、地震)和盗窃

2.2.数据库备份的分类

2.2.1从物理与逻辑的角度,备份可分为物物理备份与逻辑备份

逻辑备份是对数据库逻辑组件(如表等数据库对象)的备份,表及数据库结构(CREATE DATABASE, CREATETABLEia)和内容(INSERT语句或分隔文本文件)的信息。

逻辑备份适用于可以编辑数据值或表结构较小的数据量,或者在不同的机器体系结构上重新创建数据

物理备份是对数据库操作系统的物理文件(如数据文件、日志文件等)的备份。

物理备份适用于在出现问题时需要快速恢复的大型重要数据库。

物理备份又可以分为冷备份(脱机备份)、热备份(联机备份)和温备份。

2.2.2从数据库的备份策略角度,备份可分为完全备份、差异备份、 增量备份

物理备份

对数据库操作系统的物理文件(如数据文件、 日志文件等)的备份

物理备份方法

冷备份(脱机备份):是在关闭数据库的时候进行的

热备份(联机备份):数据库处于运行状态,依赖于数据库的日志文件

温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作

逻辑备份:

对数据库逻辑组件(如:表等数据库对象)的备份

完全备份

每次对数据进行完整的备份,即对整个数据库、数据库结构和文件结构的备份,保存的是备份完成时刻的数据库,是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便,但是数据存在大量的重复,并且会占用大量的磁盘空间,备份的时间也很长。

完全备份:每次对数据库进行完整的备份

差异备份:备份自从上次完全备份之后被修改过的文件

增量备份:只有在上次完全备份或者增量备份后被修改的文件才会被备份

备份方式比较

|----------|-------------|-------|-------|
| 备份方式 | 完全备份 | 差异备份 | 增量备份 |
| 完全备份时的状态 | 表1、表2 | 表1、表2 | 表1、表2 |
| 第1次添加内容 | 创建表3 | 创建表3 | 创建表3 |
| 备份内容 | 表1、表2、表3 | 表3 | 表3 |
| 第2次添加内容 | 创建表4 | 创建表4 | 创建表4 |
| 备份内容 | 表1、表2、表3、表4 | 表3、表4 | 表4 |

2.3. 备份方法

数据库的备份可以采用很多种方式,如直接打包数据库文件(物理冷备份)、专用备份工具(mysqldump)、二进制日志增量备份、第三方工具备份等。

2.3.1 物理冷备份

物理冷备份时需要在数据库处于关闭状态下,能够较好地保证数据库的完整性。

物理冷备份一般用于非核心业务,这类业务一般都允许中断。

物理冷备份的特点就是速度快,恢复时也是最为简单的。

通常通过直接打包数据库文件夹(/usr/local/mysql/data)来实现备份。

2.3.2 专用备份工具 mysqldump 或 mysqlhotcopy

mysqldump程序和mysqlhotcopy都可以做备份。

mysqldump是客户端常用逻辑备份程序,能够产生一组被执行以后再现原始数据库对象定义和表数据的SQL语句。它可以转储一个到多个MySQL数据库,对其进行备份或传输到远程SQL服务器。mysqldump更为通用,因为它可以备份各种表。

mysqlhotcopy仅适用于某些存储引擎(MyISAM和ARCHIVE)。

2.3.3 通过启用二进制日志进行增量备份

支持增量备份,进行增量备份时必须启用二进制日志。

二进制日志文件为用户提供复制,对执行备份点后进行的数据库更改所需的信息进行恢复。

如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改) ,需要刷新二进制日志。

2.3.4 通过第三方工具备份

第三方工具Percona xtraBackup是一个免费的MysQL热备份软件,支持在线热备份Innodb和xtraDB,也可以支持MySQL表备份,不过MyISAM表的备份要在表锁的情况下进行。

三、MySQL完全备份

3.1.常见的备份方法

物理冷备

备份时数据库处于关闭状态,直接打包数据库文件

备份速度快,恢复时也是最简单的

专用备份工具mydump或mysqlhotcopy

mysqldump常用的逻辑备份工具

mysqlhotcopy仅拥有备份MyISAM和ARCHIVE表

启用二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

第三方工具备份

免费的MySQL热备份软件Percona XtraBackup

四、数据库完全备份与恢复

是对整个数据库、数据库结构和文件结构的备份

保存的是备份完成时刻的数据库

是差异备份与增量备份的基础

优点:备份与恢复操作简单方便

缺点:数据存在大量的重复 占用大量的备份空间 备份与恢复时间长

4.1.物理冷备份与恢复

关闭MySQL数据库

使用tar命令直接打包数据库文件夹

直接替换现有MySQL目录即可

css 复制代码
systemctl stop mysqld
yum -y install xz
 
#压缩备份
cd /usr/local/mysql/data
tar jcvf mysql_all_$(date +%F).tar.xz /usr/local/mysql/data
systemctl start mysqld
 
#模拟故障,删除数据库
drop database kgc;
 
#解压恢复
tar jxvf /opt/mysql_all_2022-06-21.tar.xz -C /usr/local/mysql/data
cd /usr/local/mysql/data
mv usr/local/mysql/data/* ./

4.2.mysqldump备份与恢复

MySQL自带的备份工具,可方便实现对MySQL的备份

可以将指定的库、表导出为SQL 脚本

使用命令mysq|导入备份的数据

完全备份一个或多个完整的库 (包括其中所有的表)

css 复制代码
mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql   
#导出的就是数据库脚本文件


完全备份指定库中的部分表

css 复制代码
mysqldump -u root -p[密码] 库名 [表名1] [表名2] ... > /备份路径/备份文件名.sql

#使用"-d"选项,说明只保存数据库的表结构

#不使用"-d"选项,说明表数据也进行备份

#做为一个表结构模板

完全备份 MySQL 服务器中所有的库

css 复制代码
mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql

完全备份指定库中的部分表

css 复制代码
mysqldump -u root -p[密码] 库名 [表名1] [表名2] ... > /备份路径/备份文件名.sql

查看备份文件

css 复制代码
 grep -v "^--" /opt/ky35.sql | grep -v "^/" | grep -v "^$"

4.3 恢复数据库

4.3.1.source恢复

css 复制代码
使用mysqldump导出的文件,可使用导入的方法 
source命令  进入数据库   
mysql> source  /opt/school.sql ------>备份文件路径
登录到MySQL数据库,执行source备份sql脚本的路径

4.3.2.mysql恢复

css 复制代码
将备份的数据库重定向输入到数据库中
mysql -u root -p[密码] < /备份路径/备份文件名

4.4 恢复表

4.4.1.source恢复

css 复制代码
mysql> source  /opt/class_ky1.sql ------>备份文件路径

4.4.2.mysql恢复

css 复制代码
将备份的数据库重定向输入到数据库中的表中
mysql -u root -p[密码] < /备份路径/备份文件名

五、MySQL 增量备份与恢复

5.1.恢复的方式

5.1.1 一般恢复

将所有备份的二进制日志内容全部恢复

5.1.2 基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作

可以基于精准的位置跳过错误的操作

发生错误节点之前的一个节点,上一次正确操作的位置点停止

5.1.3 基于时间点恢复

跳过某个发生错误的时间点实现数据恢复

在错误时间点停止,在下一个正确时间点开始

5.2 二进制文件介绍

5.2.1.开启二进制日志功能

css 复制代码
vim /etc/my.cnf
找到[mysqld]

加上

log-bin=mysql-bin
 
binlog_format = MIXED      
#可选,指定二进制日志(binlog)的记录格式为MIXED(混合输入)

二进制日志(binlog)有3种不同的记录格式: STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT

5.2.2 二进制日志(binlog)的3种不同的记录格式

STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT

① STATEMENT(基于SQL语句)

每一条涉及到被修改的sql 都会记录在binlog中

缺点:日志量过大,如sleep()函数,last_insert_id()>,以及user-defined fuctions(udf)、主从复制等架构记录日志时会出现问题

② ROW(基于行)

只记录变动的记录,不记录sql的上下文环境

缺点:如果遇到update......set....where true 那么binlog的数据量会越来越大

③ MIXED 推荐使用

一般的语句使用statement,函数使用ROW方式存储。

5.2.3 查看二进制日志文件的内容

css 复制代码
cp /usr/local/mysql/data/mysql-bin.000002 /opt/

mysqlbinlog --no-defaults  /opt/mysql-bin.000002

mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002

#--base64-output=decode-rows:使用64位编码机制去解码(decode)并按行读取(rows)
#-v: 显示详细内容
#--no-defaults : 默认字符集(不加会报UTF-8的错误)
PS: 可以将解码后的文件导出为txt格式,方便查阅

mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002 > /opt/mysql-bin.000002

5.2.4 二进制日志中需要关注的部分

1、at :开始的位置点

2、end_log_pos:结束的位置

3、时间戳: 210712 11:50:30

4、SQL语句

5.3 增量备份过程(全备+增备)

5.3.1.使用mysqldump

css 复制代码
mysqldump -u root -p密码 --databases 库名> /备份路径/备份文件名
css 复制代码
可每天进行增量备份操作,生成新的二进制日志文件(例如:mysql-bin.000003)
 
mysqladmin -u root -p flush-logs

插入新数据,以模拟数据的增加或变更

PS:在第一次完全备份之后刷新二进制文件,在第二个二进制文件中记载着"增量备份的数据"

5.4 增量恢复

5.4.1.一般恢复

css 复制代码
mysqldump -uroot -p密码 库名 表名 > /备份路径/备份文件名.sql
mysql -uroot -p 密码 【库名】< /备份路径/备份文件名.sql

基于mysql-bin.恢复

css 复制代码
mysqlbinlog --no-defaults /opt/mysql-bin.00000x | mysql -u root -p

5.4.2.断点恢复

css 复制代码
查看日志
mysqlbinlog --no-defaults --base64-output=decode-rows -v /usr/local/mysql/data/mysql-bin.000008
css 复制代码
基于位置点恢复
#仅恢复到操作 ID 为"585"之前的数据,即不恢复"id=6"的数据
css 复制代码
mysqlbinlog --no-defaults --stop-position='585' /opt/mysql-bin.000007 | mysql -uroot -p123
css 复制代码
仅恢复"id=6"的数据,跳过"id=5"的数据恢复
mysqlbinlog --no-defaults --start-position='585' /opt/mysql-bin.000007 | mysql -uroot -p123

mysqlbinlog --no-defaults --start-position='500' --stop-position='585' /opt/mysql-bin.000007 | mysql -uroot -p123     #恢复从位置为500开始到位置为585为止

5.4.3. 基于时间点恢复

css 复制代码
mysqlbinlog [--no-defaults] --start-datetime='年-月-日 小时:分钟:秒' --stop-datetime='年-月-日小时:分钟:秒' 二进制日志 | mysql -u 用户名 -p 密码
css 复制代码
基于位置点恢复
#仅恢复到操作 ID 为"585"之前的数据,即不恢复"id=6"的数据
css 复制代码
 mysqlbinlog --no-defaults --stop-datetime='2024-03-25 23:10:43' /opt/mysql-bin.000008 | mysql -uroot -p123
css 复制代码
仅恢复"id=6"的数据,跳过"id=5"的数据恢复
mysqlbinlog --no-defaults --start-detetime='2024-03-25 23:10:43' /opt/mysql-bin.000007 | mysql -uroot -p123

mysqlbinlog --no-defaults --start-detetime='2024-03-25 23:10:35' --stop-detetime='2024-03-25 23:10:43' /opt/mysql-bin.000007 | mysql -uroot -p123

如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start

六、总结

备份方法

物理备份:直接对数据库的物理文件(数据文件、日志文件等)进行备份

逻辑备份:对数据库的库和表对象以SQL语言的形式导出进行备份

备份策略

完全备份:每次备份都备份完整的库或者表数据

差异备份:只备份上一次完全备份后的更新数据

增量备份:每次备份只备份上一次完全备份或增量备份后的更新数据

完全备份

物理冷备:先关闭数据库,使用tar命令打包备份数据库的数据目录和文件 mysql/data/

mysqldump逻辑热备

mysqldump -uroot -p密码 --databases 库1 [库2 ....] >/备份路径/备份文件名.sql 备份一个或多个库及库中所有的表数据

mysqldump -uroot -p密码 --all-databases >/备份路径/备份文件名.sql 备份所有的库

mysqldump -uroot-p密码 库名 > XXX.sql 备份指定库中的所有的表数据,不包含库对象

mysqldump -uroot -p密码 库名 表1 [表2 ....] > /备份路径/备份文件名.sql 备份指定库中的一个或多个表数据,不包含库对象 xtrabackup物理热备

完全恢复

先登录到数据库,再执行 source XXX.sql (如果sql文件是只备份了表数据的文件,需要先创建库并 use 切换库后再执行)

mysql -u root -p[密码] < /备份路径/备份文件名 将备份的数据库重定向输入到数据库中

mysql -u root -p[密码] 库名 < /备份路径/备份文件名 将备份的数据库重定向输入到数据表中

增量备份

通过刷新二进制日志间接实现增量备份

mysqladmin -uroot -p123 flush-logs

查看二进制日志内容

mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制文件位置

使用二进制日志增量恢复

mysqlbinlog --no-defaults 二进制文件位置| mysql -uroot -p密码

断点恢复

基于位置点恢复

mysqlbinlog --no-defaults --start-position='开始位置点' --stop-position='结束位置点' | mysql -uroot-p密码

基于时间点恢复

mysqlbinlog --no-defaults --start-datetime='YYYY-mm-dd HH:MM:SS' --stop-position='YYYY-mm-dd HH:MM:SS' | mysql -uroot -p密码

如果需要恢复到某条sql语句之前的所有数据,就stop在这个语句的位置点或时间点之前

如果需要恢复某条sql语句及其之后的所有数据,就从这个语句的位置点或时间点开始start

相关推荐
远歌已逝2 小时前
维护在线重做日志(二)
数据库·oracle
qq_433099403 小时前
Ubuntu20.04从零安装IsaacSim/IsaacLab
数据库
Dlwyz3 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存
工业甲酰苯胺5 小时前
Redis性能优化的18招
数据库·redis·性能优化
没书读了6 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
i道i6 小时前
MySQL win安装 和 pymysql使用示例
数据库·mysql
小怪兽ysl6 小时前
【PostgreSQL使用pg_filedump工具解析数据文件以恢复数据】
数据库·postgresql
wqq_9922502777 小时前
springboot基于微信小程序的食堂预约点餐系统
数据库·微信小程序·小程序
爱上口袋的天空7 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse
Oak Zhang8 小时前
sharding-jdbc自定义分片算法,表对应关系存储在mysql中,缓存到redis或者本地
redis·mysql·缓存