CentOS7上pt-archiver工具进行数据库表归档——筑梦之路

pt-archiver 是一个用于 MySQL 数据归档和清理的强大工具。它可以将旧数据从原表移动到归档表,同时保持原表的性能不受影响。

前提条件

表有做分区或者有时间字段

在线安装

bash 复制代码
sudo yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
sudo yum install percona-toolkit

创建归档表

bash 复制代码
# 原始表test_table  归档表test_table_archive

CREATE TABLE test_table_archive LIKE test_table;

# 这里创建一个结构和原始表一样的归档表,时间字段为create_ts

使用 pt-archiver 进行归档

bash 复制代码
可以归档到同一个库其他表,归档到文件里--file,归档到不同实例下的表

此处归档到同一个库的其他表

pt-archiver \
  --source h=192.168.200.157,P=3306,u=dba,D=test,t=test_table,p=***** \
  --charset=utf8mb4 \
  --dest h=192.168.200.157,P=3306,u=dba,D=test,t=test_table_archive,p=***** \
  --where "TO_DAYS(NOW()) - (TO_DAYS(create_ts)) > 90" \
  --progress=5000 \
  --txn-size=1000 \
  --purge

#############################

--source 参数指定了原始表的位置和连接信息。

h: 源数据库主机名或IP地址(这里是192.168.200.157)

P: 源数据库端口号(这里是3306)

u: 连接源数据库使用的用户名(这里是dba)

D: 源数据库名称(这里是test)

t: 要迁移数据的表名(这里是test_table)

p: 密码(这里以星号隐藏,实际操作时应替换为真实的密码)。


--dest 参数指定了归档表的位置,具体字参数和source类似。

--where 参数是一个 SQL 表达式,用于筛选需要归档的数据。在这个例子中,"TO_DAYS(NOW()) - (TO_DAYS(create_ts)) > 90" 当前日期减去create_ts字段(假设它表示数据创建时间)的天数大于90天的记录。只迁移超过90天的老数据。

--limit 参数指定了每次事务处理的数据行数。

--progress 参数用于每处理一定数量的行时打印进度信息。

--txn-size 参数定义了事务的大小,即每次提交的行数。

--no-delete 仅迁移数据,而不从源表中删除已迁移的记录

--purge 参数告诉pt-archiver在迁移数据后执行删除操作,建议先备份好。
相关推荐
银发控、1 小时前
MySQL联合索引
数据库·mysql
予枫的编程笔记2 小时前
【MySQL修炼篇】从踩坑到精通:事务隔离级别的3大异常(脏读/幻读/不可重复读)解决方案
数据库·mysql·后端开发·数据库事务·事务隔离级别·rr级别·脏读幻读不可重复读
一起养小猫3 小时前
Flutter for OpenHarmony 实战:记账应用数据统计与可视化
开发语言·jvm·数据库·flutter·信息可视化·harmonyos
世界尽头与你3 小时前
(修复方案)CVE-2023-22047: Oracle PeopleSoft Enterprise PeopleTools 未授权访问漏洞
数据库·安全·oracle·渗透测试
韩立学长3 小时前
【开题答辩实录分享】以《智能大学宿舍管理系统的设计与实现》为例进行选题答辩实录分享
数据库·spring boot·后端
Henry Zhu1233 小时前
数据库(五):反规范化
数据库
Mr_Xuhhh4 小时前
MySQL函数详解:日期、字符串、数学及其他常用函数
java·数据库·sql
he___H5 小时前
Redis高级数据类型
数据库·redis·缓存
霖霖总总5 小时前
[小技巧60]深入解析 MySQL Online DDL:MySQL Online DDL、pt-osc 与 gh-ost 机制与最佳实践
数据库·mysql
爱学习的阿磊5 小时前
使用PyTorch构建你的第一个神经网络
jvm·数据库·python