MySQL 线上大表 DDL 如何避免锁表(pt-online-schema-change)

文章目录

1、锁表问题

在系统研发过程中,随着业务需求千变万化,避免不了调整线上MySQL DDL数据表的操作,也就是ALTER TABLE操作,例如:加个索引、加个字段等...

但是如果这张线上表是个大表,也就是说该表可能存在百万、千万、甚至上亿条数据,这时候DDL操作这个过程耗时非常久,并且这个执行阶段存在一个极端现象:锁表,锁表会带来很大的问题,那就是直接导致线上大表读写阻塞。这对大部分系统来说,是无法接受的。

现在有很多避免线上锁表的方案,例如:

  1. 停机执行(直接系统停机维护...不推荐 ❌)
  2. Online DDL(MySQL 5.6版本以上支持,不推荐 ❌)
  3. pt-online-schema-change(推荐 ✅)

本次主要介绍pt-online-schema-change,因为Online DDL这个方案争议还是比较多的,并不建议使用,具体原因参考其他文章,本文重点不在这里。

2、pt-online-schema-change 原理

参考文档:https://docs.percona.com/percona-toolkit/pt-online-schema-change.html

  1. 首先,根据原表创建新表,但是并不会拷贝原表中的数据,_new结尾
  2. 新表执行 DDL 语句,因为是空表,执行速度很快
  3. 原表加3个触发器,捕获变更(insert/update/delete),避免迁移过程中,新表数据不实时同步原表
  4. 批量拷贝原表数据到新表
  5. 数据一致后,会删除原表,留下新表作为生产表。这个过程通常是瞬时的,新表此时已经包含了所有的最新数据

3、pt-online-schema-change 实战

3.1、准备数据

本次我使用阿里云的 Ubuntu 22.04 服务器,上面安装了一台MySQL数据库,MySQL最好设置为innodb_autoinc_lock_mode=2,否则在高并发的写入情况下,很容易产生锁等待以及死锁,我先通过下述 SQL 脚本新增 700w 测试数据:

sql 复制代码
DELIMITER $$

CREATE PROCEDURE generate_data()
BEGIN
    DECLARE i INT DEFAULT 0;
    WHILE i < 7000000 DO
        INSERT INTO user (user_name, pass_word, create_time)
        VALUES 
        (CONCAT('user_', UUID()), 
         CONCAT('password_', FLOOR(RAND() * 10000)), 
         CURDATE());
        SET i = i + 1;
    END WHILE;
END $$

DELIMITER ;

CALL generate_data();

3.2、安装工具

Percona Toolkit 是一个集合了多个实用工具的工具包,专门用于 MySQL 数据库的管理和优化,而 pt-online-schema-change 是其中一个非常有用的工具,所以这里安装 Percona Toolkit

shell 复制代码
apt install percona-toolkit

3.3、模拟锁表

先通过 Navicat 依次执行下述几个命令,模拟锁表现象发生,DDL操作前的事务没有提交,就会一直锁住:

sql 复制代码
# 1.耗时查询SQL(耗时几分钟)
select * from user

# 2.给大表加字段
ALTER TABLE user ADD COLUMN email30 VARCHAR (255) COMMENT '用户邮箱'

# 3.分页查询
select * from user limit 1,10

接着就通过命令查看,出现锁表现象:

sql 复制代码
SHOW FULL PROCESSLIST

DDL后续所有操作,都会被阻塞,没办法正常执行,会导致生产环境SQL直接卡死。

3.4、解决锁表

使用 pt-online-schema-change 进行 DDL 模版大概如下:

sql 复制代码
pt-online-schema-change --host=主机ip --user=MySQL账号 --password=MySQL密码 --alter "DDL语句" D=数据库名,t=表名 --print --execute

重新模拟锁表现象:

sql 复制代码
# 1.耗时查询SQL(耗时几分钟)
select * from user

# 2.给大表加字段(注意⚠️:这个在服务器上执行,不要在Navicat上)
pt-online-schema-change --host=172.16.0.217 --user=root --password=root --alter "ADD COLUMN address VARCHAR(255) COMMENT '家庭住址'" D=pt-online-test,t=user --print --execute

# 3.分页查询
select * from user limit 1,10

最后会发现,select * from user limit 1,10查询操作不会被阻塞(但是执行会变慢一些),当然pt-online-schema-change官方提供了许多参数细节,有兴趣可以访问官网自行查看。

相关推荐
CookieCrusher2 小时前
数据泄露危机逼近:五款电脑加密软件为企业筑起安全防线
运维·数据库·windows·安全·文件加密·数据防泄漏·dlp
这周也會开心3 小时前
SQL-窗口函数
数据库·sql
TDengine (老段)5 小时前
TDengine 时间函数 WEEKDAY() 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
TDengine (老段)5 小时前
从 ETL 到 Agentic AI:工业数据管理变革与 TDengine IDMP 的治理之道
数据库·数据仓库·人工智能·物联网·时序数据库·etl·tdengine
LQ深蹲不写BUG7 小时前
MySql的事务机制
数据库·mysql
逼子格8 小时前
【Proteus仿真】定时器控制系列仿真——秒表计数/数码管显示时间
数据库·单片机·嵌入式硬件·51单片机·proteus·定时器·硬件工程师
stein_java9 小时前
Mybatis-7 XML映射器
数据库·sql·mybatis
xhbh66610 小时前
开发效率翻倍:资深DBA都在用的MySQL客户端利器
数据库·mysql·数据库连接工具·mysql 连接工具
LJC_Superman10 小时前
Web与Nginx网站服务
运维·服务器·前端·网络·数据库·nginx·vim