MySQL 之 日志

一、 日志

MySQL 支持丰富的日志类型,如下:

  • 事务日志:transaction log

    事务日志的写入类型为"追加",因此其操作为"顺序IO";通常也被称为:预写式日志 write ahead logging事务日志文件: ib_logfile0, ib_logfile1

  • 错误日志 error log

  • 通用日志 general log

  • 慢查询日志 slow query log

  • 二进制日志 binary log

  • 中继日志 reley log,在主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取的事件

1. 事务日志

  • redo log:实现 WAL(Write Ahead Log) ,数据更新前先记录redo log
  • undo log:保存与执行的操作相反的操作,用于实现rollback

事务型存储引擎自行管理和使用,建议和数据文件分开存放

Innodb事务日志相关配置:

js 复制代码
show variables like '%innodb_log%';    //查看事务日志
  innodb_log_file_size     50331648    //每个日志文件大小  字节
  innodb_log_files_in_group   2        //日志组成员个数
  innodb_log_group_home_dir   ./       //事务文件路径

ll -h /var/lib/mysql

事务日志性能优化

js 复制代码
select @@innodb_flush_log_at_trx_commit;
//查看默认值

innodb_flush_log_at_trx_commit=0|1|2
1 此为默认值,日志缓冲区将写入日志文件,并在每次事务后执行刷新到磁盘。 这是完全遵守ACID特性
0 提交时没有写磁盘的操作; 而是每秒执行一次将日志缓冲区的提交的事务写入刷新到磁盘。 这样可提供更好的性能,但服务器崩溃可能丢失最后一秒的事务
2 每次提交后都会写入OS的缓冲区,但每秒才会进行一次刷新到磁盘文件中。 性能比0略差一些,但操作系统或停电可能导致最后一秒的交易丢失
级别 0 1 2
安全性 较高 最高 最高
性能 最高 最差 较高

2. 错误日志

错误日志

  • mysqld启动和关闭过程中输出的事件信息
  • mysqld运行中产生的错误信息
  • event scheduler运行一个event时产生的日志信息
  • 在主从复制架构中的从服务器上启动从服务器线程时产生的信息

错误文件路径: /var/log/mysqld.log

3. 通用日志

通用日志:记录对数据库的通用操作,包括:错误的SQL语句

通用日志可以保存在:file(默认值)或 table(mysql.general_log表)

通用日志相关设置:

js 复制代码
general_log=ON|OFF
general_log_file=HOSTNAME.log
log_output=TABLE|FILE|NONE

示例: 启用通用日志并记录至文件中

js 复制代码
select @@general_log;      //默认没开启
set global general_log=1;  //开启

show global variables like 'log_output';  //默认通用日志存放在文件中
select @@general_log_file;               //通用日志存放的文件路径,文件名跟主机名有关

4. 慢查询日志

慢查询日志:记录执行查询时长超出指定时长的操作

慢查询相关变量:

js 复制代码
slow_query_log=ON|OFF //开启或关闭慢查询,支持全局和会话,只有全局设置才会生成慢查询文件
long_query_time=N //慢查询的阀值,单位秒,默认为10s
slow_query_log_file=HOSTNAME-slow.log  //慢查询日志文件
log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,
query_cache,query_cache_miss,tmp_table,tmp_table_on_disk 
//上述查询类型且查询时长超过long_query_time,则记录日志
log_queries_not_using_indexes=ON  //不使用索引或使用全索引扫描,不论是否达到慢查询阀值的语
句是否记录日志,默认OFF,即不记录
log_slow_rate_limit = 1 //多少次查询才记录,mariadb特有
log_slow_verbosity= Query_plan,explain //记录内容
log_slow_queries = OFF    //同slow_query_log,MariaDB 10.0/MySQL 5.6.1 版后已删除


//开启
set  global slow_query_log=1;
set long_query_time=1;

//测试
select sleep(10)

5. 二进制日志

  • 记录导致数据改变或潜在导致数据改变的SQL语句
  • 记录已提交的日志
  • 不依赖于存储引擎类型

功能:通过"重放"日志文件中的事件来生成数据副本

注意:建议二进制日志和数据文件分开存放

5.1 二进制日志记录三种格式

  1. 基于"语句"记录:statement记录语句,默认模式( MariaDB 10.2.3 版本以下 ),日志量较少
  2. 基于"行"记录:row 记录数据,日志量较大,更加安全,建议使用的格式,MySQL8.0默认格式
  3. 混合模式:mixed 让系统自行判定该基于哪种方式进行,默认模式( MariaDB 10.2.4及版本以上)
js 复制代码
show variables like 'binlog_format';   //查看二进制日志记录格式

5.2 二进制日志相关的服务器变量

  • sql_log_bin
js 复制代码
sql_log_bin=ON|OFF:
//是否记录二进制日志,默认ON,支持动态修改,系统变量,而非服务器选项,一般默认开启

select @@sql_log_bin;
  • log_bin
js 复制代码
log_bin=mysql-bin      //默认是关闭
//指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可以
//此选项作用是指明二进制日志的位置所在
//需要加 server-id=1 数据库编号

select @@log_bin;
//注意!变量log_bin 和 服务器选项 是两个意思
  • binlog_format:日志格式
js 复制代码
binlog_format=STATEMENT|ROW|MIXED:
//二进制日志记录的格式,mariadb5.5默认STATEMENT
  • max_binlog_size:最大日志大小
js 复制代码
max_binlog_size=1073741824:
//单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G
//说明:文件达到上限时的大小未必为指定的精确值
  • 其他
js 复制代码
binlog_cache_size=4m 
//此变量确定在每次事务中保存二进制日志更改记录的缓存的大小(每次连接)
max_binlog_cache_size=512m 
//限制用于缓存多事务查询的字节大小。
sync_binlog=1|0:
//设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘
expire_logs_days=N:
//二进制日志可以自动删除的天数。 默认为0,即不自动删除

5.3 示例

  • 开启二进制日志
js 复制代码
[root@node5 ~]#  vim /etc/my.cnf
  log_bin=/data/mysql-bin  //指明二进制日志所存在的目录
  server-id=1              //指明数据库的编号
[root@node5 ~]#  chown mysql.mysql /data/
[root@node5 ~]#  systemctl restart mysqld
  • 离线查看二进制日志

mysqlbinlog:二进制日志的客户端命令工具,支持离线查看二进制日志

js 复制代码
insert teachers values(null,'hkj','60','M')

mysqlbinlog -v mysql-bin.000001   //-v查看详细
  ### INSERT INTO `hellodb`.`teachers`
  ### SET
  ###   @1=5
  ###   @2='hkj'
  ###   @3=60
  ###   @4=2
  # at 400     //节点

  • 查看使用中的二进制文件
js 复制代码
show master status;
  • 查看二进制文件的大小
js 复制代码
show master logs;
  • 在线查看二进制日志
js 复制代码
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
例子:
show binlog events in '日志名称';
show binlog events in 'mysql-bin.000001';
show binlog events in 'mysql-bin.000001' from 6516 limit 2,3;
  • 删除二进制日志
js 复制代码
purge binary logs to '日志名称';
purge binary logs to 'mysql-bin.000002';  //代表删除002之前的日志

reset master;  //彻底清空二进制日志

flush logs;    //刷新日志
相关推荐
KubeSphere 云原生24 分钟前
云原生周刊:利用 eBPF 增强 K8s
云计算·k8s·容器平台·kubesphere
木子Linux13 小时前
【Linux打怪升级记 | 问题01】安装Linux系统忘记设置时区怎么办?3个方法教你回到东八区
linux·运维·服务器·centos·云计算
HaoHao_0102 天前
云消息队列 Kafka 版
分布式·阿里云·kafka·云计算·云服务器
sinat_307021532 天前
大数据技术与应用——大数据处理技术(一)(山东省大数据职称考试)
大数据·云计算
HaoHao_0103 天前
云消息队列 RabbitMQ 版
阿里云·云计算·云服务器
終不似少年遊*3 天前
云计算HCIP-OpenStack01
云原生·云计算·学习笔记·openstack·hcip·虚拟化
云计算DevOps-韩老师3 天前
【网络云计算】2024第51周-每日【2024/12/20】小测-理论-周测
云计算
jmoych3 天前
我在华为的安全日常
大数据·运维·网络·安全·华为·架构·云计算
HaoHao_0103 天前
应用实时监控服务ARMS
阿里云·云计算·云服务器
树莓集团3 天前
什么是数字化转型?对企业发展的帮助有哪些?
大数据·人工智能·云计算·新媒体运营·媒体