MySQL 之 日志

一、 日志

MySQL 支持丰富的日志类型,如下:

  • 事务日志:transaction log

    事务日志的写入类型为"追加",因此其操作为"顺序IO";通常也被称为:预写式日志 write ahead logging事务日志文件: ib_logfile0, ib_logfile1

  • 错误日志 error log

  • 通用日志 general log

  • 慢查询日志 slow query log

  • 二进制日志 binary log

  • 中继日志 reley log,在主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取的事件

1. 事务日志

  • redo log:实现 WAL(Write Ahead Log) ,数据更新前先记录redo log
  • undo log:保存与执行的操作相反的操作,用于实现rollback

事务型存储引擎自行管理和使用,建议和数据文件分开存放

Innodb事务日志相关配置:

js 复制代码
show variables like '%innodb_log%';    //查看事务日志
  innodb_log_file_size     50331648    //每个日志文件大小  字节
  innodb_log_files_in_group   2        //日志组成员个数
  innodb_log_group_home_dir   ./       //事务文件路径

ll -h /var/lib/mysql

事务日志性能优化

js 复制代码
select @@innodb_flush_log_at_trx_commit;
//查看默认值

innodb_flush_log_at_trx_commit=0|1|2
1 此为默认值,日志缓冲区将写入日志文件,并在每次事务后执行刷新到磁盘。 这是完全遵守ACID特性
0 提交时没有写磁盘的操作; 而是每秒执行一次将日志缓冲区的提交的事务写入刷新到磁盘。 这样可提供更好的性能,但服务器崩溃可能丢失最后一秒的事务
2 每次提交后都会写入OS的缓冲区,但每秒才会进行一次刷新到磁盘文件中。 性能比0略差一些,但操作系统或停电可能导致最后一秒的交易丢失
级别 0 1 2
安全性 较高 最高 最高
性能 最高 最差 较高

2. 错误日志

错误日志

  • mysqld启动和关闭过程中输出的事件信息
  • mysqld运行中产生的错误信息
  • event scheduler运行一个event时产生的日志信息
  • 在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误文件路径: /var/log/mysqld.log

3. 通用日志

通用日志:记录对数据库的通用操作,包括:错误的SQL语句

通用日志可以保存在:file(默认值)或 table(mysql.general_log表)

通用日志相关设置:

js 复制代码
general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output=TABLE|FILE|NONE

示例: 启用通用日志并记录至文件中

js 复制代码
select @@general_log;      //默认没开启
set global general_log=1;  //开启

show global variables like 'log_output';  //默认通用日志存放在文件中
select @@general_log_file;               //通用日志存放的文件路径,文件名跟主机名有关

4. 慢查询日志

慢查询日志:记录执行查询时长超出指定时长的操作

慢查询相关变量:

js 复制代码
slow_query_log=ON|OFF //开启或关闭慢查询,支持全局和会话,只有全局设置才会生成慢查询文件
long_query_time=N //慢查询的阀值,单位秒,默认为10s
slow_query_log_file=HOSTNAME-slow.log  //慢查询日志文件
log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk 
//上述查询类型且查询时长超过long_query_time,则记录日志
log_queries_not_using_indexes=ON  //不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语
句是否记录日志,默认OFF,即不记录
log_slow_rate_limit = 1 //多少次查询才记录,mariadb特有
log_slow_verbosity= Query_plan,explain //记录内容
log_slow_queries = OFF    //同slow_query_log,MariaDB 10.0/MySQL 5.6.1 版后已删除


//开启
set  global slow_query_log=1;
set long_query_time=1;

//测试
select sleep(10)

5. 二进制日志

  • 记录导致数据改变或潜在导致数据改变的SQL语句
  • 记录已提交的日志
  • 不依赖于存储引擎类型

功能:通过"重放"日志文件中的事件来生成数据副本

注意:建议二进制日志和数据文件分开存放

5.1 二进制日志记录三种格式

  1. 基于"语句"记录:statement记录语句,默认模式( MariaDB 10.2.3 版本以下 ),日志量较少
  2. 基于"行"记录:row 记录数据,日志量较大,更加安全,建议使用的格式,MySQL8.0默认格式
  3. 混合模式:mixed 让系统自行判定该基于哪种方式进行,默认模式( MariaDB 10.2.4及版本以上)
js 复制代码
show variables like 'binlog_format';   //查看二进制日志记录格式

5.2 二进制日志相关的服务器变量

  • sql_log_bin
js 复制代码
sql_log_bin=ON|OFF:
//是否记录二进制日志,默认ON,支持动态修改,系统变量,而非服务器选项,一般默认开启

select @@sql_log_bin;
  • log_bin
js 复制代码
log_bin=mysql-bin      //默认是关闭
//指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可以
//此选项作用是指明二进制日志的位置所在
//需要加 server-id=1 数据库编号

select @@log_bin;
//注意!变量log_bin 和 服务器选项 是两个意思
  • binlog_format:日志格式
js 复制代码
binlog_format=STATEMENT|ROW|MIXED:
//二进制日志记录的格式,mariadb5.5默认STATEMENT
  • max_binlog_size:最大日志大小
js 复制代码
max_binlog_size=1073741824:
//单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G
//说明:文件达到上限时的大小未必为指定的精确值
  • 其他
js 复制代码
binlog_cache_size=4m 
//此变量确定在每次事务中保存二进制日志更改记录的缓存的大小(每次连接)
max_binlog_cache_size=512m 
//限制用于缓存多事务查询的字节大小。
sync_binlog=1|0:
//设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘
expire_logs_days=N:
//二进制日志可以自动删除的天数。 默认为0,即不自动删除

5.3 示例

  • 开启二进制日志
js 复制代码
[root@node5 ~]#  vim /etc/my.cnf
  log_bin=/data/mysql-bin  //指明二进制日志所存在的目录
  server-id=1              //指明数据库的编号
[root@node5 ~]#  chown mysql.mysql /data/
[root@node5 ~]#  systemctl restart mysqld
  • 离线查看二进制日志

mysqlbinlog:二进制日志的客户端命令工具,支持离线查看二进制日志

js 复制代码
insert teachers values(null,'hkj','60','M')

mysqlbinlog -v mysql-bin.000001   //-v查看详细
  ### INSERT INTO `hellodb`.`teachers`
  ### SET
  ###   @1=5
  ###   @2='hkj'
  ###   @3=60
  ###   @4=2
  # at 400     //节点

  • 查看使用中的二进制文件
js 复制代码
show master status;
  • 查看二进制文件的大小
js 复制代码
show master logs;
  • 在线查看二进制日志
js 复制代码
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
例子:
show binlog events in '日志名称';
show binlog events in 'mysql-bin.000001';
show binlog events in 'mysql-bin.000001' from 6516 limit 2,3;
  • 删除二进制日志
js 复制代码
purge binary logs to '日志名称';
purge binary logs to 'mysql-bin.000002';  //代表删除002之前的日志

reset master;  //彻底清空二进制日志

flush logs;    //刷新日志
相关推荐
天翼云开发者社区1 小时前
Rust 中的 Tokio 线程同步机制
云计算
天翼云开发者社区4 小时前
亮相2025年服贸会,天翼云打造高质量算力服务新生态!
云计算·天翼云
容器魔方2 天前
Bloomberg 正式加入 Karmada 用户组!
云原生·容器·云计算
AKAMAI3 天前
Sport Network 凭借 Akamai 实现卓越成就
人工智能·云原生·云计算
10岁的博客3 天前
《云计算如何驱动企业数字化转型:关键技术与实践案例》
云计算
m0_694845574 天前
教你使用服务器如何搭建数据库
linux·运维·服务器·数据库·云计算
shinelord明4 天前
【数据行业发展】可信数据空间~数据价值的新型基础设施
大数据·架构·云计算·创业创新
XINVRY-FPGA4 天前
XCKU15P-2FFVA1760I AMD 赛灵思 Xilinx Kintex UltraScale+ FPGA
arm开发·嵌入式硬件·阿里云·fpga开发·云计算·硬件工程·fpga
王道长服务器 | 亚马逊云4 天前
一个迁移案例:从传统 IDC 到 AWS 的真实对比
java·spring boot·git·云计算·github·dubbo·aws
世间小小鱼4 天前
【爬坑指南】亚马逊文件中心 AWS S3 预签名URL 前端直传
前端·云计算·aws