MySQL备份恢复

华子目录

MySQL日志管理

为什么需要日志

  • 用于排错
  • 用来做数据分析
  • 了解程序运行情况,了解MySQL性能

日志作用

  • 数据库保存数据时,有时候不可避免会出现数据丢失或者被破坏,这样情况下,就必须保证数据安全性完整性,则需要使用日志查看或者恢复数据

日志文件查看方法

  • 由于多种安装mysql方法可能导致文件存储位置名称不同,需要先通过mysql配置文件确定错误日志文件位置名称
bash 复制代码
[root@mysql ~]# cat /etc/my.cnf
log-error=/var/log/mysqld.log  #错误日志
  • 查看mysql数据目录中的日志文件
bash 复制代码
[root@mysql ~]# cat /etc/my.cnf
datadir=/var/lib/mysql

错误日志

错误日志记录以下信息:

  • 服务器启动关闭过程中的信息
  • 服务器运行过程中的错误信息
  • 事件调度器运行一个时间产生的信息
  • 从服务器上启动从服务器进程是产生的信息
sql 复制代码
#查看错误日志位置及文件名,一般以主机名.err方式命名
mysql> show variables like "log_error";
+---------------+---------------------+
| Variable_name | Value               |
+---------------+---------------------+
| log_error     | /var/log/mysqld.log |  #错误日志文件在主机中的存储位置
+---------------+---------------------+
  • 错误日志信息需要注意三类[System][Warning][Error]
  1. [System]

    • 描述[System] 级别的日志条目通常记录的是系统级信息,比如MySQL服务启动停止时间配置文件读取情况、系统变量设置等。
    • 用途 :这些信息对于理解数据库服务器启动过程、配置文件的加载以及系统变量的最终设置状态非常有用。
  2. [Warning]

    • 描述[Warning] 级别的日志条目记录的是警告信息,这些信息表明数据库操作中存在潜在的问题不符合预期行为,但这些问题通常不会导致数据库立即停止工作数据丢失
    • 用途警告信息可以帮助数据库管理员DBA识别解决可能的问题源,从而避免未来可能出现的更严重问题。
  3. [Error]

    • 描述[Error] 级别的日志条目记录的是错误信息,这些信息表明数据库操作中遇到了严重问题,可能会导致数据库功能受限性能下降数据损坏
    • 用途错误信息对于快速定位解决问题至关重要。DBA应该立即关注这些条目,并根据错误信息进行故障排除修复

通用查询日志

  • 由于数据库一般有多条连接不一定本地连接,所以需要记录每个连接客户端所有操作,包括启动关闭MySQL服务更新语句查询语句等,从而产生查询日志
  • 查看设置状态
sql 复制代码
mysql> show global variables like "%general_log%";
+------------------+--------------------------+
| Variable_name    | Value                    |
+------------------+--------------------------+
| general_log      | OFF                      |  #默认关闭
| general_log_file | /var/lib/mysql/mysql.log |  #通用日志文件存储位置
+------------------+--------------------------+
  • 启动通用查询日志
bash 复制代码
mysql> set global general_log=1;

mysql> show global variables like "%general_log%";
+------------------+--------------------------+
| Variable_name    | Value                    |
+------------------+--------------------------+
| general_log      | ON                       |
| general_log_file | /var/lib/mysql/mysql.log |
+------------------+--------------------------+

# 注意这是临时更改,若永久更改则在my.cnf中配置general-log=1,并重启服务
# 注意可以在my.cnf中设置  general_log_file=路径/文件名  的形式设置永久更改存储位置
  • 设置日志记录类型/文本文件/
bash 复制代码
mysql> show variables like "%log_output%";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  |
+---------------+-------+
#注意可以在my.cnf中设置log-output={TABLE|FILE|NONE}类型

注意

  • 要启用通用查询日志,需要至少配置general-log=1log-output={TABLE|FILE}
  • general_log_file如果没有指定默认名是:主机名.log
  • 默认通用查询日志不开启的,因为会消耗大量的磁盘空间CPU以及内存,所以当需要通过查询日志还原操作场景准确定位问题时可以短时间开启
bash 复制代码
# 可以通过下面的查询测试查询日志的文件变化
mysql> show variables like "%general_log%";
+------------------+--------------------------+
| Variable_name    | Value                    |
+------------------+--------------------------+
| general_log      | ON                       |
| general_log_file | /var/lib/mysql/mysql.log |
+------------------+--------------------------+

mysql> use view;

mysql> show tables;
+----------------+
| Tables_in_view |
+----------------+
| class          |
| student        |
| viewInfo_stu   |
| view_stu       |
| view_stu1      |
+----------------+

mysql> select * from student;
+----+-------+-----+--------+--------------------+---------+
| id | name  | age | gender | address            | classid |
+----+-------+-----+--------+--------------------+---------+
|  1 | 文    |  21 | M      | 陕西省西安市       |    1003 |
|  2 | rong  |  18 | F      | 陕西省榆林市       |    1001 |
|  3 | yuan  |  19 | M      | 陕西省西安市       |    1002 |
|  5 | hua   |  10 | M      | 山西省             |    1001 |
|  6 | huazi |   9 | M      | 山西省             |    1002 |
+----+-------+-----+--------+--------------------+---------+
bash 复制代码
[root@mysql ~]# cat /var/lib/mysql/mysql.log
/usr/sbin/mysqld, Version: 8.4.3 (MySQL Community Server - GPL). started with:
Tcp port: 3306  Unix socket: /var/lib/mysql/mysql.sock
Time                 Id Command    Argument
2024-11-30T07:52:20.060357Z        15 Init DB   view
2024-11-30T07:52:20.061025Z        15 Query     show databases
2024-11-30T07:52:20.061583Z        15 Query     show tables
2024-11-30T07:52:20.062232Z        15 Query     SELECT * FROM `class` LIMIT 0
2024-11-30T07:52:20.063133Z        15 Query     SELECT * FROM `student` LIMIT 0
2024-11-30T07:52:20.063937Z        15 Query     SELECT * FROM `viewInfo_stu` LIMIT 0
2024-11-30T07:52:20.064518Z        15 Query     SELECT * FROM `view_stu` LIMIT 0
2024-11-30T07:52:20.064896Z        15 Query     SELECT * FROM `view_stu1` LIMIT 0
2024-11-30T07:52:29.367548Z        15 Query     show tables
2024-11-30T07:52:43.639933Z        15 Query     select * from student
  • 关闭通用查询日志
sql 复制代码
mysql> set global general_log=0;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like "%general_log%";
+------------------+--------------------------+
| Variable_name    | Value                    |
+------------------+--------------------------+
| general_log      | OFF                      |
| general_log_file | /var/lib/mysql/mysql.log |
+------------------+--------------------------+

慢查询日志

  • 慢日志记录所有执行时间超过long_query_time秒所有查询不使用索引查询
  • 解释:若某条查询语句执行时间过长超过设定的阈值则就会记录慢日志中,可以对其进行后期select语句优化
  • 查看慢查询日志状态
sql 复制代码
mysql> show variables like "%slow_query_log%";
+---------------------+-------------------------------+
| Variable_name       | Value                         |
+---------------------+-------------------------------+
| slow_query_log      | ON                            |  #开启状态
| slow_query_log_file | /var/lib/mysql/mysql-slow.log | #日志文件位置
+---------------------+-------------------------------+
  • 开启慢查询日志
sql 复制代码
mysql> set global slow_query_log=1;
# 注意:为了服务器调优,建议开启
  • 慢日志时间阈值
sql 复制代码
mysql> show variables like "%long_query_time%";
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 10.00000 |  #默认为10秒,精度可以到微秒
+-----------------+----------+

撤销日志

  • Undo-log日志:即撤销日志回滚日志Undo撤销的意思,在日常开发过程中,如果代码敲错了,一般会习惯性的按下Ctrl+Z撤销,而Undo-log的作用也是如此,但它是用来给MySQL撤销SQL操作的。
  • Undo-log日志记录内容:
    • 若是insert插入操作,则生成一个对应的delete操作。
    • 若是delete删除操作,InnoDB中会修改隐藏字段deleted_bit=1,则生成改为0的语句。
    • 若是update修改操作,如:将性别改成了,则就生成一个从改回操作
  • 可以理解为:当一条写入类型SQL执行时,都会在Undo-log日志中生成相应反SQL放入到Undo-log
bash 复制代码
#从mysql8.0.20版本开始存储位置
[root@mysql ~]# cd /var/lib/mysql/
[root@mysql mysql]# ls  #以undo开头的文件是撤销日志
undo_001  
undo_002

重做日志

  • InnoDB引擎设计时是基于磁盘存储数据的,当MySQL启动后就会在内存中创建一个BufferPool运行过程中会将大量操作汇集在内存进行,比如写入数据时,先写到内存中,然后由后台线程刷写磁盘
  • 虽然使用BufferPool提升了MySQL整体的读写性能,但它是基于内存的,也就意味着随着机器宕机重启,其中保存的数据消失,当向内存写入数据后,MySQL突然宕机了,则这条未刷写磁盘数据丢失,也正由于该原因redo-log应运而生
  • redo-log重做日志,是一种预写式日志,即在向内存写入数据前,会先写日志,当后续数据未被刷写磁盘MySQL崩溃时,就可以通过日志恢复数据,确保所有提交事务都会被持久化
  • mysql8Redo-log存储在/var/lib/mysql/#innodb_redo目录下,由32文件组成有两种类型redo log文件,一种是当前正在使用#ib_redoN;另一种是空闲的文件名#ib_redoN_tmp,多加了个_tmp后缀
sql 复制代码
mysql> select * from performance_schema.innodb_redo_log_files\G;
*************************** 1. row ***************************
       FILE_ID: 148
     FILE_NAME: ./#innodb_redo/#ib_redo148
     START_LSN: 484671488
       END_LSN: 487946240
 SIZE_IN_BYTES: 3276800
       IS_FULL: 0
CONSUMER_LEVEL: 0
sql 复制代码
mysql> show status like "%innodb%redo%";
+-------------------------------------+-----------+
| Variable_name                       | Value     |
+-------------------------------------+-----------+
| Innodb_redo_log_read_only           | OFF       |
| Innodb_redo_log_uuid                | 952782583 |
| Innodb_redo_log_checkpoint_lsn      | 486687544 |
| Innodb_redo_log_current_lsn         | 486687544 |
| Innodb_redo_log_flushed_to_disk_lsn | 486687544 |
| Innodb_redo_log_logical_size        | 512       |
| Innodb_redo_log_physical_size       | 3276800   |
| Innodb_redo_log_capacity_resized    | 104857600 |
| Innodb_redo_log_resize_status       | OK        |
| Innodb_redo_log_enabled             | ON        |
+-------------------------------------+-----------+

二进制日志---重要

二进制日志作用:

  • 记录所有更改数据语句insert、update、delete等),不记录查询语句
  • 用于主从复制,因为从服务器需要到主服务器拷贝二进制日志,然后根据二进制日志内容去执行SQL语句,从而达到主从服务器里的数据一模一样
  • 用于恢复数据
  • 日志审计场景用户可以通过二进制日志中的信息来进行审计判断是否有对数据库进行注入攻击mysql注入攻击黑客可以提交一段数据库查询代码,根据程序返回的结果获得某些想要得到的数据
sql 复制代码
[root@mysql ~]# cd /var/lib/mysql/
[root@mysql mysql]# ls
 binlog.000001
 binlog.000002
 binlog.000003
 binlog.000004
 binlog.000005
 binlog.000006
 binlog.000007
 binlog.000008
 binlog.000009
  • 查看二进制日志状态
sql 复制代码
mysql> show variables like "%log_bin%";
+---------------------------------+-----------------------------+
| Variable_name                   | Value                       |
+---------------------------------+-----------------------------+
| log_bin                         | ON                          |
| log_bin_basename                | /var/lib/mysql/binlog       |
| log_bin_index                   | /var/lib/mysql/binlog.index |
| log_bin_trust_function_creators | OFF                         |
| sql_log_bin                     | ON                          |
+---------------------------------+-----------------------------+
  • 日志查看
sql 复制代码
#查看有哪些二进制日志文件
mysql> show binary logs;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000001 |     26826 | No        |
| binlog.000002 |       181 | No        |
| binlog.000003 |       158 | No        |
| binlog.000004 |       158 | No        |
| binlog.000005 |  83200151 | No        |
| binlog.000006 |     12162 | No        |
| binlog.000007 |       181 | No        |
| binlog.000008 |      2753 | No        |
| binlog.000009 |      2651 | No        |
+---------------+-----------+-----------+
#显示名称、容量单位字节、加密与否
sql 复制代码
# 查看当前正在使用的是哪一个二进制日志文件
mysql> show master status;
sql 复制代码
#查看二进制日志内容
mysql> show binlog events in "binlog.000001";
  • 使用命令mysqlbinlog查看二进制日志内容
sql 复制代码
# 使用命令mysqlbinlog查看二进制日志内容
[root@mysql ~]# cd /var/lib/mysql/
[root@mysql mysql]# mysqlbinlog binlog.000001
  • 分割日志新的操作会记录的新的日志文件
    • 使用mysqladmin刷新日志
bash 复制代码
#每刷新一次,就会产生一个binlog日志
[root@mysql ~]# mysqladmin flush-logs -uroot -p
Enter password:

[root@mysql ~]# mysql -uroot -p

#新建数据库
mysql> create database mydb12_journal;
mysql> show master status;

mysql> show binary logs;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000001 |     26826 | No        |
| binlog.000002 |       181 | No        |
| binlog.000003 |       158 | No        |
| binlog.000004 |       158 | No        |
| binlog.000005 |  83200151 | No        |
| binlog.000006 |     12162 | No        |
| binlog.000007 |       181 | No        |
| binlog.000008 |      2753 | No        |
| binlog.000009 |      2695 | No        |
| binlog.000010 |       202 | No        |
+---------------+-----------+-----------+
bash 复制代码
[root@mysql mysql]# mysqlbinlog binlog.000010
......
create database mydb12_journal
......

日志刷新

  • 作用:通过刷新日志进行更新日志,对缓存数据进行磁盘I/O,并强制mysqld关闭重新打开日志文件(或者在某些情况下切换到一个新的日志
  • 由于日志记录不是直接写入磁盘上的日志文件中而是使用日志缓存方式,当频繁执行多条修改sql语句时,为了避免磁盘频繁I/O,会将日志记录写入到内存特殊空间日志缓存中,之后每隔一个固定时间间隔缓存的日志写入到磁盘文件

刷新日志命令格式

sql 复制代码
#每刷新一次,就会产生一个binlog文件
mysql> flush logs;
mysql> show master status;
bash 复制代码
#在shell中,通过mysqladmin命令执行日志刷新
[root@mysql ~]# mysqladmin flush-logs -uroot -p
Enter password:
#或,但是refresh会重置binlog文件,将之前的binlog文件全部删除,再新建一个binlog.00001文件
[root@mysql ~]# mysqladmin refresh -uroot -p
Enter password:

不小心删库后应该跑路吗?

  • 如果在线上真的删库了,哪就先别想着跑路你跑不掉!
  • bin-log日志中会记录执行SQL连接会话信息同时一般规模较大的企业,都会搭建完善的监控系统,会监控服务网络连接
  • 因此当你删库后,他们可以顺着bin-log → session → network-connection这条线确定执行删库SQLIP!如果你还未断开连接,直接通过MySQL命令就能定位到删库IP,因此基本上删库了,是可以定位责任人的
  • 因此当你删库后,可以直接本地Bin-log日志文件,然后拷贝出来一份,再打开最后一个文件,把里面删库记录手动移除,再利用mysqlbinlog工具导出xx.SQL文件,最后执行该SQL文件即可恢复删库前数据

中继日志

  • Relay-log中继日志,在单库中是见不到的,该类型日志仅存在主从架构中的从机

  • 主从架构中的从机,其数据基本上都是复制主机bin-log日志同步过来并放在relay-log日志中,中继日志作用就跟它的名字一样,仅仅只是作为主从同步数据的"中转站"

MySQL备份

备份类型

  • 根据服务器状态,可以分为热备份温备份冷备份
    • 热备份读、写不受影响
    • 温备份可以执行读操作
    • 冷备份离线备份读、写操作均中止
  • 对象来分,可以分为物理备份逻辑备份
    • 物理备份复制数据文件
    • 逻辑备份:将数据导出至文本文件
  • 数据收集来分,可以完全备份增量备份差异备份
    • 完全备份备份全部数据
    • 增量备份仅备份上次完全备份增量备份以后变化的数据
    • 差异备份仅备份上次完全备份以来变化的数据

逻辑备份优缺点

  • 备份速度两种备份要取决于不同的存储引擎
  • 物理备份还原速度非常。但是物理备份最小粒度只能做到
  • 逻辑备份保存的结构通常都是纯ASCII的,所以我们可以使用文本处理工具处理
  • 逻辑备份有非常兼容性,而物理备份则对版本要求非常
  • 逻辑备份也对保持数据安全性保证
  • 逻辑备份缺点
    • 逻辑备份要对RDBMS产生额外的压力,而裸备份无压力
    • 逻辑备份结果可能要比源文件更大。所以很多人都对备份内容进行压缩
    • 逻辑备份可能会丢失浮点数精度信息

备份内容

  • 数据文件
  • 日志文件(比如事务日志二进制日志
  • 存储过程存储函数触发器
  • 配置文件十分重要各个配置文件都要备份
  • 用于实现数据库备份脚本数据库自身清理Crontab等......

备份工具

  • MySQL自带的备份工具--mysqldump,是mysql数据库管理系统自带逻辑备份工具,支持完全备份+增加备份,速度相对较慢,适合中小型数据库支持所有引擎备份策略第一次完全备份每天一次增量备份每周再做一次完全备份,如此一直重复

完全备份语法

bash 复制代码
[root@mysql ~]# mysqldump -u用户名 --password=密码 -A > 绝对路径\备份文件.sql

备份语法

sql 复制代码
[root@mysql ~]# mysqldump -u用户名 --password=密码 -B 数据库名1 数据库名2 > 绝对路径\备份文件.sql

备份库中表语法

sql 复制代码
[root@mysql ~]# mysqldump -u用户名 --password=密码 数据库名 表1 表2 > 绝对路径\备份文件.sql
  • 示例1:使用mysqldump工具实现全量备份
sql 复制代码
# 原理:必须先做全量备份,使得数据库有一个基准还原点,在做增量备份,还原差异数据
[root@mysql ~]# mysqldump -uroot --password=123456 -A > back1.sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
#警告表示将密码显示在屏幕上不安全,备份的盘符一定要和MySQL安装目录在同一个盘符中,要不然会提示:拒绝访问

# 进入mysql中,删库
[root@mysql ~]# mysql -uroot -p
Enter password:
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| events             |
| huazi              |
| information_schema |
| mydb12_journal     |
| mydb13_indexdb     |
| mydb17_transcation |
| mysql              |
| performance_schema |
| sys                |
| view               |
+--------------------+

mysql> drop database events;
mysql> drop database huazi;
......
mysql> drop database view;

mysql> show databases;
+--------------------+
| Database           | #这3个库,root用户删不了
+--------------------+
| information_schema | 
| mysql              |
| performance_schema |
+--------------------+

mysql> quit
Bye
[root@mysql ~]# mysql -uroot -p
Enter password:

#全库恢复
mysql> source /root/back1.sql

#发现没有对sys库做备份
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| events             |
| huazi              |
| information_schema |
| mydb12_journal     |
| mydb13_indexdb     |
| mydb17_transcation |
| mysql              |
| performance_schema |
| view               |
+--------------------+

mysql> use view;

mysql> show tables;
+----------------+
| Tables_in_view |
+----------------+
| class          |
| student        |
| viewInfo_stu   |
| view_stu       |
| view_stu1      |
+----------------+

mysql> select * from student;
+----+-------+-----+--------+--------------------+---------+
| id | name  | age | gender | address            | classid |
+----+-------+-----+--------+--------------------+---------+
|  1 | 文    |  21 | M      | 陕西省西安市       |    1003 |
|  2 | rong  |  18 | F      | 陕西省榆林市       |    1001 |
|  3 | yuan  |  19 | M      | 陕西省西安市       |    1002 |
|  5 | hua   |  10 | M      | 山西省             |    1001 |
|  6 | huazi |   9 | M      | 山西省             |    1002 |
+----+-------+-----+--------+--------------------+---------+
  • 示例2:局部备份恢复
sql 复制代码
#对view库做备份
[root@mysql ~]# mysqldump -uroot --password=123456 -B view > back2.sql

[root@mysql ~]# mysql -uroot -p
Enter password:

#删除view库
mysql> drop database view;

#开始恢复
mysql> source /root/back2.sql

#发现已经恢复
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| events             |
| huazi              |
| information_schema |
| mydb12_journal     |
| mydb13_indexdb     |
| mydb17_transcation |
| mysql              |
| performance_schema |
| view               |
+--------------------+

mysql> use view;

mysql> show tables;
+----------------+
| Tables_in_view |
+----------------+
| class          |
| student        |
| viewInfo_stu   |
| view_stu       |
| view_stu1      |
+----------------+

mysql> select * from student;
+----+-------+-----+--------+--------------------+---------+
| id | name  | age | gender | address            | classid |
+----+-------+-----+--------+--------------------+---------+
|  1 | 文    |  21 | M      | 陕西省西安市       |    1003 |
|  2 | rong  |  18 | F      | 陕西省榆林市       |    1001 |
|  3 | yuan  |  19 | M      | 陕西省西安市       |    1002 |
|  5 | hua   |  10 | M      | 山西省             |    1001 |
|  6 | huazi |   9 | M      | 山西省             |    1002 |
+----+-------+-----+--------+--------------------+---------+
  • 文件系统备份工具
    • cp命令冷备份,支持所有引擎复制命令只能实现冷备物理备份。使用归档工具cp命令,对其进行备份时,备份速度快还原速度几乎最快,但是灵活度很低,可以跨系统,但是跨平台能力很差
    • lvm几乎是热备份,支持所有引擎基于快照(LVMZFS)的物理备份速度非常快几乎热备。只影响数据几秒钟而已。但是创建快照过程本身就影响到了数据库在线使用,所以备份速度比较恢复速度比较,没有什么弹性空间,而且LVM限制不能多个逻辑卷同一时间进行备份,所以数据文件事务日志各种文件必须放在同一个LVM上。而ZFS非常好的可以在多逻辑卷之间备份
  • 其它工具
    • ibbackup商业工具MyISAM温备份InnoDB热备份备份还原速度都很快这个软件它的服务器授权版本5000美元
    • xtrabackup开源工具MyISAM温备份InnoDB热备份 ,是ibbackup商业工具替代工具
    • mysqlbackup ORACLE公司也提供了针对企业备份软件MySQL Enterprise Backup简称:mysqlbackup
相关推荐
Deutsch.15 分钟前
MySQL——主从同步
mysql·adb
猿小喵32 分钟前
MySQL四种隔离级别
数据库·mysql
Y编程小白38 分钟前
Redis可视化工具--RedisDesktopManager的安装
数据库·redis·缓存
洪小帅1 小时前
Django 的 `Meta` 类和外键的使用
数据库·python·django·sqlite
祁思妙想1 小时前
【LeetCode】--- MySQL刷题集合
数据库·mysql
V+zmm101342 小时前
教育培训微信小程序ssm+论文源码调试讲解
java·数据库·微信小程序·小程序·毕业设计
m0_748248022 小时前
【MySQL】C# 连接MySQL
数据库·mysql·c#
东软吴彦祖3 小时前
包安装利用 LNMP 实现 phpMyAdmin 的负载均衡并利用Redis实现会话保持nginx
linux·redis·mysql·nginx·缓存·负载均衡
慵懒的猫mi4 小时前
deepin分享-Linux & Windows 双系统时间不一致解决方案
linux·运维·windows·mysql·deepin
小高不明5 小时前
仿 RabbitMQ 的消息队列2(实战项目)
java·数据库·spring boot·spring·rabbitmq·mvc