MySQL 线上大表 DDL 如何避免锁表(pt-online-schema-change)

文章目录

1、锁表问题

在系统研发过程中,随着业务需求千变万化,避免不了调整线上MySQL DDL数据表的操作,也就是ALTER TABLE操作,例如:加个索引、加个字段等...

但是如果这张线上表是个大表,也就是说该表可能存在百万、千万、甚至上亿条数据,这时候DDL操作这个过程耗时非常久,并且这个执行阶段存在一个极端现象:锁表,锁表会带来很大的问题,那就是直接导致线上大表读写阻塞。这对大部分系统来说,是无法接受的。

现在有很多避免线上锁表的方案,例如:

  1. 停机执行(直接系统停机维护...不推荐 ❌)
  2. Online DDL(MySQL 5.6版本以上支持,不推荐 ❌)
  3. pt-online-schema-change(推荐 ✅)

本次主要介绍pt-online-schema-change,因为Online DDL这个方案争议还是比较多的,并不建议使用,具体原因参考其他文章,本文重点不在这里。

2、pt-online-schema-change 原理

参考文档:https://docs.percona.com/percona-toolkit/pt-online-schema-change.html

  1. 首先,根据原表创建新表,但是并不会拷贝原表中的数据,_new结尾
  2. 新表执行 DDL 语句,因为是空表,执行速度很快
  3. 原表加3个触发器,捕获变更(insert/update/delete),避免迁移过程中,新表数据不实时同步原表
  4. 批量拷贝原表数据到新表
  5. 数据一致后,会删除原表,留下新表作为生产表。这个过程通常是瞬时的,新表此时已经包含了所有的最新数据

3、pt-online-schema-change 实战

3.1、准备数据

本次我使用阿里云的 Ubuntu 22.04 服务器,上面安装了一台MySQL数据库,MySQL最好设置为innodb_autoinc_lock_mode=2,否则在高并发的写入情况下,很容易产生锁等待以及死锁,我先通过下述 SQL 脚本新增 700w 测试数据:

sql 复制代码
DELIMITER $$

CREATE PROCEDURE generate_data()
BEGIN
    DECLARE i INT DEFAULT 0;
    WHILE i < 7000000 DO
        INSERT INTO user (user_name, pass_word, create_time)
        VALUES 
        (CONCAT('user_', UUID()), 
         CONCAT('password_', FLOOR(RAND() * 10000)), 
         CURDATE());
        SET i = i + 1;
    END WHILE;
END $$

DELIMITER ;

CALL generate_data();

3.2、安装工具

Percona Toolkit 是一个集合了多个实用工具的工具包,专门用于 MySQL 数据库的管理和优化,而 pt-online-schema-change 是其中一个非常有用的工具,所以这里安装 Percona Toolkit

shell 复制代码
apt install percona-toolkit

3.3、模拟锁表

先通过 Navicat 依次执行下述几个命令,模拟锁表现象发生,DDL操作前的事务没有提交,就会一直锁住:

sql 复制代码
# 1.耗时查询SQL(耗时几分钟)
select * from user

# 2.给大表加字段
ALTER TABLE user ADD COLUMN email30 VARCHAR (255) COMMENT '用户邮箱'

# 3.分页查询
select * from user limit 1,10

接着就通过命令查看,出现锁表现象:

sql 复制代码
SHOW FULL PROCESSLIST

DDL后续所有操作,都会被阻塞,没办法正常执行,会导致生产环境SQL直接卡死。

3.4、解决锁表

使用 pt-online-schema-change 进行 DDL 模版大概如下:

sql 复制代码
pt-online-schema-change --host=主机ip --user=MySQL账号 --password=MySQL密码 --alter "DDL语句" D=数据库名,t=表名 --print --execute

重新模拟锁表现象:

sql 复制代码
# 1.耗时查询SQL(耗时几分钟)
select * from user

# 2.给大表加字段(注意⚠️:这个在服务器上执行,不要在Navicat上)
pt-online-schema-change --host=172.16.0.217 --user=root --password=root --alter "ADD COLUMN address VARCHAR(255) COMMENT '家庭住址'" D=pt-online-test,t=user --print --execute

# 3.分页查询
select * from user limit 1,10

最后会发现,select * from user limit 1,10查询操作不会被阻塞(但是执行会变慢一些),当然pt-online-schema-change官方提供了许多参数细节,有兴趣可以访问官网自行查看。

相关推荐
每天敲200行代码20 分钟前
MySQL 事务管理
数据库·mysql·事务
巴里巴气40 分钟前
MongoDB索引及其原理
数据库·mongodb
程序员勋勋11 小时前
Redis的String数据类型底层实现
数据库·redis·缓存
不修×蝙蝠1 小时前
MySQL 全详解:从入门到精通的实战指南
数据库·mysql·索引·最左前缀
我的ID配享太庙呀3 小时前
Django 科普介绍:从入门到了解其核心魅力
数据库·后端·python·mysql·django·sqlite
不辉放弃4 小时前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
拉姆哥的小屋4 小时前
用 Flask 打造宠物店线上平台:从 0 到 1 的全栈开发实践
数据库·oracle·flask
liliangcsdn4 小时前
mac neo4j install & verifcation
数据库·neo4j
Cyanto5 小时前
MyBatis-Plus高效开发实战
java·开发语言·数据库
-XWB-5 小时前
【Oracle】套接字异常(SocketException)背后隐藏的Oracle问题:ORA-03137深度排查与解决之道
数据库·oracle