mysql 5.7 解析binlog日志,并统计每个类型语句(insert、update、delete)、每个表的执行次数

1、mysqlbinlog工具

使用mysqlbinlog工具将文件中执行语句解析至某个文件中。

bash 复制代码
/usr/local/mnt/mysql/bin/mysqlbinlog --base64-output=DECODE-ROWS -v /usr/local/mnt/mysql/log/mysql-bin.017278  > binlog017278.sql

--base64-output=DECODE-ROWS 参数:

这个选项指定了如何处理 binlog 文件中被编码为 base64 的行事件。DECODE-ROWS 表示将 base64 编码的行事件解码为更容易阅读的格式。行事件通常在 binlog 中以 base64 编码存储,因此需要这个选项来解码它们以便于阅读。

-v 参数:

-v 选项表示"verbose"模式,也就是详细模式。使用这个选项会使 mysqlbinlog 输出更多的信息,包括详细的 SQL 语句和事件内容,而不仅仅是简略信息。这对于调试和分析日志内容非常有用。

2、使用linux中awk进行统计

使用linux中awk统计insert、update、delete执行语句以及每个表执行次数。输出结果支持直接复制至excel中。

bash 复制代码
awk '
/INSERT INTO `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "INSERT\t" arr[1] "." arr[2]}
/UPDATE `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "UPDATE\t" arr[1] "." arr[2]}
/DELETE FROM `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "DELETE\t" arr[1] "." arr[2]}
' binlog017320_017349.sql | sort | uniq -c | awk '{print $2, $3, $1}' OFS='\t'

awk 脚本:

/INSERT INTO /:匹配包含 INSERT INTO 的行,提取表名。

/UPDATE /:匹配包含 UPDATE 的行,提取表名。

/DELETE FROM /:匹配包含 DELETE FROM 的行,提取表名。

每个匹配模式会使用 match 函数提取表名,并将它们与相应的操作类型一起输出。

sort 和 uniq -c :

sort:对输出的表名和操作类型进行排序。

uniq -c:统计每种表名和操作类型组合的出现次数。

相关推荐
nice_lcj5202 小时前
MySQL 的锁:行锁、表锁、间隙锁与死锁
mysql·面试·锁·行锁·死锁·间隙锁
Henry-SAP3 小时前
PP的生产调度员(Production Scheduler)的角色与配置
数据库
Flynn Liang5 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
FungLeo6 小时前
FengCMS · PHP+MySQL 升级实录 ·三重 MD5 迁移 password_hash:老站密码怎么无痛升级
mysql·php·哈希算法·密码安全·fengcms
雾隐隐o7 小时前
优搭校园 01|项目概览、技术选型与初始化
spring boot·mysql·vue
小乖写代码7 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
GeW8 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP8 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu9 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP9 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb