MySQL日志梳理

MySQL 的日志是数据库可靠性、故障排查、性能优化、主从复制的根基。这篇笔记总结三大核心日志(undo log、redo log、binlog)和四类辅助日志(error log、slow query log、relay log、general query log)的主要记录内容、作用、使用场景和关键机制,最后给出几道问答题,可用于自我检测。

目录

[一、三大核心日志(InnoDB 事务核心)](#一、三大核心日志(InnoDB 事务核心))

[1.1 Undo Log(回滚日志)](#1.1 Undo Log(回滚日志))

[1.2 Redo Log(重做日志)](#1.2 Redo Log(重做日志))

[1.3 Binlog(Binary Log,二进制日志)](#1.3 Binlog(Binary Log,二进制日志))

[1.4 三大日志对比速查表](#1.4 三大日志对比速查表)

二、四个辅助日志

[2.1 Error log (错误日志)](#2.1 Error log (错误日志))

[2.2 Relay log(中继日志)](#2.2 Relay log(中继日志))

[2.3 Slow query log(慢查询日志)](#2.3 Slow query log(慢查询日志))

[2.4 General log(通用查询日志)](#2.4 General log(通用查询日志))

[2.5 辅助日志对比速查表](#2.5 辅助日志对比速查表)

三、问答题

[1、undo log 、redo log 和 binlog 分别用于解决什么问题?](#1、undo log 、redo log 和 binlog 分别用于解决什么问题?)

[2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?](#2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?)

[3、redo log 为什么采用循环写?binlog 为什么是追加写?](#3、redo log 为什么采用循环写?binlog 为什么是追加写?)

4、什么是长事务?长事务有什么危害?

5、慢查询日志和通用查询日志的区别是什么?

[6、如何使用慢查询日志排查 SQL 性能问题?](#6、如何使用慢查询日志排查 SQL 性能问题?)

[7、relay log 是什么?它在主从架构中的作用是什么?](#7、relay log 是什么?它在主从架构中的作用是什么?)

[8、error log 一般用来排查哪些类型故障?](#8、error log 一般用来排查哪些类型故障?)


一、三大核心日志(InnoDB 事务核心)

1.1 Undo Log(回滚日志)

undo log 是 InnoDB 存储引擎独有的日志,很多人容易把它理解成 "用来撤销 SQL" 的简单回滚日志,实际上它承载了两个核心能力 :回滚与多版本读。

事务在修改数据的时候,不会直接覆盖原有记录,而是先把这条数据修改前的旧版本信息写入 undo log。如果事务中途报错、主动执行 rollback,InnoDB 就会根据 undo log 里保存的旧数据,把页面恢复成事务开始之前的样子,这就是我们常说的事务回滚。

除了回滚,undo log 也是 MVCC 的基石。它会串联起一条数据的多个历史版本,形成版本链。当隔离级别是 RC、RR 的时候,普通快照读不会去加锁,而是沿着版本链,找到当前事务可见的版本来返回结果,以此实现不加锁的一致性读。

从SRE 运维的角度看,undo log 也是排查故障的重点。长时间不提交的长事务会持续持有 undo 版本,旧版本无法被清理,会造成 undo 日志持续膨胀,占用大量磁盘空间,同时引发查询变慢、事务堆积等问题,日常巡检中我们也会重点监控长事务和 undo 空间。

使用场景小结:

  • undo log 用于事务回滚,事务异常或回滚时恢复数据到修改前状态。
  • undo log 用于长事务排查,长事务阻止 undo 版本回收,容易引发日志膨胀。
  • undo log 用于MVCC、隔离级别实现,依靠版本链支撑快照读的一致性。

1.2 Redo Log(重做日志)

redo log 同样是 InnoDB 引擎专属日志,它最核心的定位是解决崩溃恢复,很多人会混淆它和 undo log:undo 存旧数据,redo 存新数据的变更记录。

InnoDB 为了提升写入性能,不会每次修改都直接刷盘到数据文件,而是先在内存缓冲池里修改页,把变更记录写到 redo log buffer;后续再按照策略异步刷到磁盘上的 redo log 文件。它记录的不是完整的数据行,而是数据页的物理修改。

如果数据库在写入过程中宕机,内存里还没来得及落盘到数据文件的脏页,就可以依靠磁盘上持久化的 redo log 进行回放,把数据恢复到一致状态,保证事务的持久性,也就是我们常说的 crash-safe。

对 SRE来说,redo log 的配置直接影响写入性能:redo log 文件太小,会频繁触发 checkpoint,造成写入抖动;文件太大,崩溃恢复耗时会变长。日常需要关注 redo log 刷盘策略、checkpoint 进度,应对高写入场景的性能问题。

使用场景小结:

  • redo log 用于崩溃恢复,数据库宕机后回放日志,保证已提交事务不丢失。
  • redo log 用于提升写入性能,减少随机刷盘,把随机写转化为顺序写。
  • redo log 用于控制刷盘策略,配合参数调整,平衡数据安全和写入性能。

1.3 Binlog(Binary Log,二进制日志)

binlog 是 MySQL Server 层的日志,不属于 InnoDB,MyISAM 等引擎也可以产生,它记录的是逻辑层面的 SQL 变更事件,和 redo log 的物理日志有本质区别。redo log 采用循环写的方式,当脏页完成 checkpoint 落盘后,对应的 redo 记录就可以被覆盖复用,无法永久保存全部变更;而 binlog 是追加写入,能够完整留存所有数据变更记录。

一条事务提交时会走两阶段提交,用来保证 redo log 和 binlog 的数据一致性:

  1. prepare 阶段:事务先把变更写入 redo log,标记为 prepare 状态;此时事务还没有提交,数据库宕机后这条事务还不确定是否生效。
  2. 写 binlog 阶段:把这条事务对应的逻辑变更写入 binlog,binlog 写入成功才算这一步完成。
  3. commit 阶段:再次修改 redo log,把标记从 prepare 改成 commit。 如果在第二步之后、第三步之前宕机,恢复时会依据 binlog 是否存在这条事务,来决定提交或者回滚 redo log 里的记录。

binlog 记录的是修改之后的逻辑内容,有 statement、row、mixed 三种格式,生产环境基本都推荐 row 模式,记录行数据变更,不会因为函数、时间等带来主从数据不一致。

它不负责事务回滚,也不参与崩溃恢复,核心价值是主从复制、备份恢复和数据归档。主库把 binlog 推送给从库,从库回放日志,完成主从同步;我们可以持续归档保存 binlog,搭配全量备份,实现时间点恢复(PITR);长期留存的 binlog 也可以作为变更记录,用于追溯数据改动。

SRE日常维护里,binlog 是排障、数据恢复、审计的抓手。需要做好 binlog 过期清理策略,避免磁盘打满,同时很多主从延迟问题,根源都来自 binlog 生成速度、网络传输或者从库回放速度跟不上。

使用场景小结:

  • binlog 用于主从复制,主库推送变更日志,从库回放实现数据同步。
  • binlog 用于备份恢复,搭配全量备份,把数据恢复到任意指定时刻。
  • binlog 用于数据归档,持久化留存所有 DML/DDL 变更,支持改动追溯与审计。

1.4 三大日志对比速查表

看完了三大核心日志的介绍,下面通过一个表格来对比总结:

日志 归属层 日志类型 核心作用 是否持久化
undo log InnoDB 引擎 逻辑(行旧版本) 事务回滚、MVCC 版本链 是
redo log InnoDB 引擎 物理(数据页变更) 崩溃恢复、优化写入 是
binlog MySQL Server 层 逻辑 SQL / 行变更 主从复制、备份恢复、数据归档 是

二、四个辅助日志

2.1 Error log (错误日志)

error log 是 MySQL 的基础告警日志,记录服务启动、关闭、运行过程里的报错、警告、关键提示信息。 SRE 日常故障排查第一站,实例启动失败、崩溃、连接异常、引擎报错优先看它。

使用场景:

  • 用于实例故障排查,定位启动失败、异常崩溃原因。
  • 用于告警监控,捕获数据库运行时的警告与错误信息。
  • 用于版本与状态审计,记录启动参数、插件加载等关键事件。

2.2 Relay log(中继日志)

中继日志只存在于 MySQL 从库,主库推送过来的 binlog 不会直接回放,先存成 relay log,再由 SQL 线程回放。格式和 binlog 一致。

使用场景:

  • 用于主从复制中转,存放 IO 线程拉取到的主库 binlog,供 SQL 线程异步回放,支持同步断点续传。
  • 用于主从延迟排查,观察中继日志消费进度判断回放瓶颈。

2.3 Slow query log(慢查询日志)

慢查询日志用来记录执行时长超过阈值的 SQL 语句,由参数 long_query_time 控制触发条件,可以记录执行时间、扫描行数、返回行数等信息。 它默认不开启,开启会带来少量性能损耗,一般线上按需开启。

使用场景:

  • 用于SQL 性能优化 ,捕获慢 SQL,定位查询瓶颈。
  • 用于业务巡检,识别线上低效查询、全表扫描语句。
  • 用于压测问题定位,压测期间抓执行耗时异常的 SQL。

2.4 General log(通用查询日志)

通用查询日志会记录客户端所有接入、执行的全部 SQL,不管执行快慢。开销非常大,生产环境几乎不会长期打开,只适合临时调试。

使用场景:

  • 用于临时调试,追踪客户端发给 MySQL 的全部请求。
  • 用于连接行为排查,确认应用是否有异常请求、错发 SQL。
  • 用于临时审计,短期验证客户端访问行为。

2.5 辅助日志对比速查表

看完了四个辅助日志的介绍,下面通过一个表格来对比总结

日志 默认开启 主要用途 线上是否长期开启
error log 开启 记录报错、启停信息 长期开启
relay log 从库自动生成 中转主库 binlog,供从库回放 主从架构从库自动开启
slow query log 关闭 关闭捕获慢 SQL,优化查询 按需开启
general log 关闭 记录全部 SQL 请求 尽量不长期开

三、问答题

1、undo log 、redo log 和 binlog 分别用于解决什么问题?

undo log 是 InnoDB 引擎日志,保存数据修改前旧版本,用来实现事务回滚,同时作为 MVCC 版本链基础,支撑 RC、RR 隔离级别下的一致性快照读;

redo log 是 InnoDB 引擎物理日志,记录数据页变更,把随机写转化为顺序写提升写入性能,核心解决崩溃恢复(crash-safe),保证已提交事务持久化不丢失;

binlog 是 MySQL Server 层逻辑日志,追加写入,完整留存所有变更,核心用于主从复制、备份恢复、数据归档。

2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?

数据库重启时依靠 redo log 做崩溃恢复。对于已经提交的事务,回放 redo log,把内存中未落盘的脏页数据持久化到磁盘;对于未提交的事务,通过 undo log 回滚,撤销已经写入的数据修改,保证数据一致性。

3、redo log 为什么采用循环写?binlog 为什么是追加写?

redo log 的定位是崩溃恢复,是一个缓冲层,当对应的脏页完成 checkpoint 刷入数据文件后,这部分 redo 记录就不再需要,所以采用循环写,空间复用;

binlog 定位是全量变更归档,需要完整保存所有数据修改记录,用于复制、时间点恢复、审计追溯,不能覆盖旧日志,所以采用追加写。

4、什么是长事务?长事务有什么危害?

长事务就是开启之后长时间不 commit、也不 rollback 的事务。

危害:事务持有 undo 版本链,它依赖的 undo 旧版本无法被后台 purge 线程回收清理,会造成 undo 日志持续膨胀,占用大量磁盘;版本链变长还会导致快照读扫描版本变慢,查询性能下降,甚至引发库内大量事务堆积。

5、慢查询日志和通用查询日志的区别是什么?

慢查询日志只记录执行时长超过 long_query_time 阈值的 SQL,开销小,用来定位低效 SQL 做性能优化,默认关闭;

通用查询日志记录客户端所有发来的 SQL 请求,无论快慢,性能开销极大,默认关闭,生产环境一般只做临时调试,不能长期开启。

6、如何使用慢查询日志排查 SQL 性能问题?

开启慢查询日志,设置合理的时间阈值;拿到日志后,重点观察 SQL 执行耗时、扫描行数、返回行数,优先定位扫描行数远大于返回行数、全表扫描的语句;再结合 explain 分析执行计划,优化索引或者改写 SQL。

7、relay log 是什么?它在主从架构中的作用是什么?

relay log(中继日志)只存在 MySQL 从库,格式和 binlog 一致。作用是主从复制中转,存放 IO 线程拉取到的主库 binlog,供 SQL 线程异步回放,同时支持同步断点续传;我们也可以通过观察中继日志消费进度,判断主从回放瓶颈,排查主从延迟。

8、error log 一般用来排查哪些类型故障?

error log 记录 MySQL 启停、运行过程中的报错和警告信息,是故障排查第一手日志。

主要排查:实例启动失败、进程异常崩溃、连接报错、存储引擎报错、插件加载异常、参数非法等问题。

相关推荐
五彩小白1 小时前
Redis的过期删除和内存淘汰机制
数据库·redis·缓存
学长毕设1 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
FungLeo1 小时前
FengCMS · PHP+MySQL 升级实录 · MySQL DDL不能回滚:模型字段结构操作的失败续做
android·mysql·php·工程实践·fengcms
apcipot_rain2 小时前
C++转Java日记(14)
数据库
隔窗听雨眠2 小时前
MySQL锁等待的定位方法与治理体系
mysql·锁机制·数据库运维
zly35002 小时前
esxi安装 windows2000 鼠标不动
运维·服务器
AR-26710-4 小时前
docker Day2——镜像 / 容器 / 仓库
运维·docker·容器
龙腾AI白云5 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
分布式存储与RustFS5 小时前
旧 ledger 堆满 Bookie 磁盘:用 Pulsar 分层存储把冷数据卸进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准