MySQL 的日志是数据库可靠性、故障排查、性能优化、主从复制的根基。这篇笔记总结三大核心日志(undo log、redo log、binlog)和四类辅助日志(error log、slow query log、relay log、general query log)的主要记录内容、作用、使用场景和关键机制,最后给出几道问答题,可用于自我检测。
目录
[一、三大核心日志(InnoDB 事务核心)](#一、三大核心日志(InnoDB 事务核心))
[1.1 Undo Log(回滚日志)](#1.1 Undo Log(回滚日志))
[1.2 Redo Log(重做日志)](#1.2 Redo Log(重做日志))
[1.3 Binlog(Binary Log,二进制日志)](#1.3 Binlog(Binary Log,二进制日志))
[1.4 三大日志对比速查表](#1.4 三大日志对比速查表)
[2.1 Error log (错误日志)](#2.1 Error log (错误日志))
[2.2 Relay log(中继日志)](#2.2 Relay log(中继日志))
[2.3 Slow query log(慢查询日志)](#2.3 Slow query log(慢查询日志))
[2.4 General log(通用查询日志)](#2.4 General log(通用查询日志))
[2.5 辅助日志对比速查表](#2.5 辅助日志对比速查表)
[1、undo log 、redo log 和 binlog 分别用于解决什么问题?](#1、undo log 、redo log 和 binlog 分别用于解决什么问题?)
[2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?](#2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?)
[3、redo log 为什么采用循环写?binlog 为什么是追加写?](#3、redo log 为什么采用循环写?binlog 为什么是追加写?)
[6、如何使用慢查询日志排查 SQL 性能问题?](#6、如何使用慢查询日志排查 SQL 性能问题?)
[7、relay log 是什么?它在主从架构中的作用是什么?](#7、relay log 是什么?它在主从架构中的作用是什么?)
[8、error log 一般用来排查哪些类型故障?](#8、error log 一般用来排查哪些类型故障?)
一、三大核心日志(InnoDB 事务核心)
1.1 Undo Log(回滚日志)
undo log 是 InnoDB 存储引擎独有的日志,很多人容易把它理解成 "用来撤销 SQL" 的简单回滚日志,实际上它承载了两个核心能力 :回滚与多版本读。
事务在修改数据的时候,不会直接覆盖原有记录,而是先把这条数据修改前的旧版本信息写入 undo log。如果事务中途报错、主动执行 rollback,InnoDB 就会根据 undo log 里保存的旧数据,把页面恢复成事务开始之前的样子,这就是我们常说的事务回滚。
除了回滚,undo log 也是 MVCC 的基石。它会串联起一条数据的多个历史版本,形成版本链。当隔离级别是 RC、RR 的时候,普通快照读不会去加锁,而是沿着版本链,找到当前事务可见的版本来返回结果,以此实现不加锁的一致性读。
从SRE 运维的角度看,undo log 也是排查故障的重点。长时间不提交的长事务会持续持有 undo 版本,旧版本无法被清理,会造成 undo 日志持续膨胀,占用大量磁盘空间,同时引发查询变慢、事务堆积等问题,日常巡检中我们也会重点监控长事务和 undo 空间。
使用场景小结:
- undo log 用于事务回滚,事务异常或回滚时恢复数据到修改前状态。
- undo log 用于长事务排查,长事务阻止 undo 版本回收,容易引发日志膨胀。
- undo log 用于MVCC、隔离级别实现,依靠版本链支撑快照读的一致性。
1.2 Redo Log(重做日志)
redo log 同样是 InnoDB 引擎专属日志,它最核心的定位是解决崩溃恢复,很多人会混淆它和 undo log:undo 存旧数据,redo 存新数据的变更记录。
InnoDB 为了提升写入性能,不会每次修改都直接刷盘到数据文件,而是先在内存缓冲池里修改页,把变更记录写到 redo log buffer;后续再按照策略异步刷到磁盘上的 redo log 文件。它记录的不是完整的数据行,而是数据页的物理修改。
如果数据库在写入过程中宕机,内存里还没来得及落盘到数据文件的脏页,就可以依靠磁盘上持久化的 redo log 进行回放,把数据恢复到一致状态,保证事务的持久性,也就是我们常说的 crash-safe。
对 SRE来说,redo log 的配置直接影响写入性能:redo log 文件太小,会频繁触发 checkpoint,造成写入抖动;文件太大,崩溃恢复耗时会变长。日常需要关注 redo log 刷盘策略、checkpoint 进度,应对高写入场景的性能问题。
使用场景小结:
- redo log 用于崩溃恢复,数据库宕机后回放日志,保证已提交事务不丢失。
- redo log 用于提升写入性能,减少随机刷盘,把随机写转化为顺序写。
- redo log 用于控制刷盘策略,配合参数调整,平衡数据安全和写入性能。
1.3 Binlog(Binary Log,二进制日志)
binlog 是 MySQL Server 层的日志,不属于 InnoDB,MyISAM 等引擎也可以产生,它记录的是逻辑层面的 SQL 变更事件,和 redo log 的物理日志有本质区别。redo log 采用循环写的方式,当脏页完成 checkpoint 落盘后,对应的 redo 记录就可以被覆盖复用,无法永久保存全部变更;而 binlog 是追加写入,能够完整留存所有数据变更记录。
一条事务提交时会走两阶段提交,用来保证 redo log 和 binlog 的数据一致性:
- prepare 阶段:事务先把变更写入 redo log,标记为 prepare 状态;此时事务还没有提交,数据库宕机后这条事务还不确定是否生效。
- 写 binlog 阶段:把这条事务对应的逻辑变更写入 binlog,binlog 写入成功才算这一步完成。
- commit 阶段:再次修改 redo log,把标记从 prepare 改成 commit。 如果在第二步之后、第三步之前宕机,恢复时会依据 binlog 是否存在这条事务,来决定提交或者回滚 redo log 里的记录。
binlog 记录的是修改之后的逻辑内容,有 statement、row、mixed 三种格式,生产环境基本都推荐 row 模式,记录行数据变更,不会因为函数、时间等带来主从数据不一致。
它不负责事务回滚,也不参与崩溃恢复,核心价值是主从复制、备份恢复和数据归档。主库把 binlog 推送给从库,从库回放日志,完成主从同步;我们可以持续归档保存 binlog,搭配全量备份,实现时间点恢复(PITR);长期留存的 binlog 也可以作为变更记录,用于追溯数据改动。
SRE日常维护里,binlog 是排障、数据恢复、审计的抓手。需要做好 binlog 过期清理策略,避免磁盘打满,同时很多主从延迟问题,根源都来自 binlog 生成速度、网络传输或者从库回放速度跟不上。
使用场景小结:
- binlog 用于主从复制,主库推送变更日志,从库回放实现数据同步。
- binlog 用于备份恢复,搭配全量备份,把数据恢复到任意指定时刻。
- binlog 用于数据归档,持久化留存所有 DML/DDL 变更,支持改动追溯与审计。
1.4 三大日志对比速查表
看完了三大核心日志的介绍,下面通过一个表格来对比总结:
| 日志 | 归属层 | 日志类型 | 核心作用 | 是否持久化 |
|---|---|---|---|---|
| undo log | InnoDB 引擎 | 逻辑(行旧版本) | 事务回滚、MVCC 版本链 | 是 |
| redo log | InnoDB 引擎 | 物理(数据页变更) | 崩溃恢复、优化写入 | 是 |
| binlog | MySQL Server 层 | 逻辑 SQL / 行变更 | 主从复制、备份恢复、数据归档 | 是 |
二、四个辅助日志
2.1 Error log (错误日志)
error log 是 MySQL 的基础告警日志,记录服务启动、关闭、运行过程里的报错、警告、关键提示信息。 SRE 日常故障排查第一站,实例启动失败、崩溃、连接异常、引擎报错优先看它。
使用场景:
- 用于实例故障排查,定位启动失败、异常崩溃原因。
- 用于告警监控,捕获数据库运行时的警告与错误信息。
- 用于版本与状态审计,记录启动参数、插件加载等关键事件。
2.2 Relay log(中继日志)
中继日志只存在于 MySQL 从库,主库推送过来的 binlog 不会直接回放,先存成 relay log,再由 SQL 线程回放。格式和 binlog 一致。
使用场景:
- 用于主从复制中转,存放 IO 线程拉取到的主库 binlog,供 SQL 线程异步回放,支持同步断点续传。
- 用于主从延迟排查,观察中继日志消费进度判断回放瓶颈。
2.3 Slow query log(慢查询日志)
慢查询日志用来记录执行时长超过阈值的 SQL 语句,由参数 long_query_time 控制触发条件,可以记录执行时间、扫描行数、返回行数等信息。 它默认不开启,开启会带来少量性能损耗,一般线上按需开启。
使用场景:
- 用于SQL 性能优化 ,捕获慢 SQL,定位查询瓶颈。
- 用于业务巡检,识别线上低效查询、全表扫描语句。
- 用于压测问题定位,压测期间抓执行耗时异常的 SQL。
2.4 General log(通用查询日志)
通用查询日志会记录客户端所有接入、执行的全部 SQL,不管执行快慢。开销非常大,生产环境几乎不会长期打开,只适合临时调试。
使用场景:
- 用于临时调试,追踪客户端发给 MySQL 的全部请求。
- 用于连接行为排查,确认应用是否有异常请求、错发 SQL。
- 用于临时审计,短期验证客户端访问行为。
2.5 辅助日志对比速查表
看完了四个辅助日志的介绍,下面通过一个表格来对比总结
| 日志 | 默认开启 | 主要用途 | 线上是否长期开启 |
|---|---|---|---|
| error log | 开启 | 记录报错、启停信息 | 长期开启 |
| relay log | 从库自动生成 | 中转主库 binlog,供从库回放 | 主从架构从库自动开启 |
| slow query log | 关闭 | 关闭捕获慢 SQL,优化查询 | 按需开启 |
| general log | 关闭 | 记录全部 SQL 请求 | 尽量不长期开 |
三、问答题
1、undo log 、redo log 和 binlog 分别用于解决什么问题?
undo log 是 InnoDB 引擎日志,保存数据修改前旧版本,用来实现事务回滚,同时作为 MVCC 版本链基础,支撑 RC、RR 隔离级别下的一致性快照读;
redo log 是 InnoDB 引擎物理日志,记录数据页变更,把随机写转化为顺序写提升写入性能,核心解决崩溃恢复(crash-safe),保证已提交事务持久化不丢失;
binlog 是 MySQL Server 层逻辑日志,追加写入,完整留存所有变更,核心用于主从复制、备份恢复、数据归档。
2、MySQL 宕机重启后,未提交、已提交事务分别如何处理?
数据库重启时依靠 redo log 做崩溃恢复。对于已经提交的事务,回放 redo log,把内存中未落盘的脏页数据持久化到磁盘;对于未提交的事务,通过 undo log 回滚,撤销已经写入的数据修改,保证数据一致性。
3、redo log 为什么采用循环写?binlog 为什么是追加写?
redo log 的定位是崩溃恢复,是一个缓冲层,当对应的脏页完成 checkpoint 刷入数据文件后,这部分 redo 记录就不再需要,所以采用循环写,空间复用;
binlog 定位是全量变更归档,需要完整保存所有数据修改记录,用于复制、时间点恢复、审计追溯,不能覆盖旧日志,所以采用追加写。
4、什么是长事务?长事务有什么危害?
长事务就是开启之后长时间不 commit、也不 rollback 的事务。
危害:事务持有 undo 版本链,它依赖的 undo 旧版本无法被后台 purge 线程回收清理,会造成 undo 日志持续膨胀,占用大量磁盘;版本链变长还会导致快照读扫描版本变慢,查询性能下降,甚至引发库内大量事务堆积。
5、慢查询日志和通用查询日志的区别是什么?
慢查询日志只记录执行时长超过 long_query_time 阈值的 SQL,开销小,用来定位低效 SQL 做性能优化,默认关闭;
通用查询日志记录客户端所有发来的 SQL 请求,无论快慢,性能开销极大,默认关闭,生产环境一般只做临时调试,不能长期开启。
6、如何使用慢查询日志排查 SQL 性能问题?
开启慢查询日志,设置合理的时间阈值;拿到日志后,重点观察 SQL 执行耗时、扫描行数、返回行数,优先定位扫描行数远大于返回行数、全表扫描的语句;再结合 explain 分析执行计划,优化索引或者改写 SQL。
7、relay log 是什么?它在主从架构中的作用是什么?
relay log(中继日志)只存在 MySQL 从库,格式和 binlog 一致。作用是主从复制中转,存放 IO 线程拉取到的主库 binlog,供 SQL 线程异步回放,同时支持同步断点续传;我们也可以通过观察中继日志消费进度,判断主从回放瓶颈,排查主从延迟。
8、error log 一般用来排查哪些类型故障?
error log 记录 MySQL 启停、运行过程中的报错和警告信息,是故障排查第一手日志。
主要排查:实例启动失败、进程异常崩溃、连接报错、存储引擎报错、插件加载异常、参数非法等问题。