MySQL主从校验工具之 pt-table-checksum

MySQL主从校验工具是 pt-table-checksum,它是Percona Toolkit套件中的一个组件,专门用于在线检查MySQL主从复制环境中数据的一致性。下面详细介绍其工作原理:

pt-table-checksum 工作原理:

  1. 连接与配置:
  • pt-table-checksum 首先需要连接到主服务器,并根据提供的配置信息(如连接参数、要检查的数据库和表列表、选项等)开始工作。
  1. 分块处理:
  • 为了避免长时间锁定大量数据或消耗过多系统资源,pt-table-checksum 对待检查的大表进行分块处理。默认情况下,它会根据主键或唯一索引来将表拆分成多个小块,默认第一个块包含1000条记录,后续块的大小可能会根据服务器性能动态调整。
  1. 计算校验和:
  • 对于每个数据块,pt-table-checksum 选择一种合适的算法(如CRC32、MD5、SHA1等)来计算该块数据的校验和(checksum)。MySQL提供了一个名为`CRC32`的函数,pt-table-checksum 可以利用这个函数高效地计算校验和值。每个块都会得到一个唯一的校验和标识其数据完整性。
  1. 存储校验结果:
  • 计算出的校验和及其相关信息(如表名、块编号、行数等)被存储在主服务器上的一个临时表或用户指定的目标表中。这样做的目的是将校验过程的结果集中保存,以便后续的比较和分析。
  1. 复制到从服务器:
  • 利用MySQL的主从复制机制,上述存储校验结果的SQL操作会被复制到从服务器上执行。因此,从服务器上也会生成对应的校验和信息。
  1. 比较校验和:
  • pt-table-checksum 在从服务器上再次运行,这次它不再计算校验和,而是直接从主从两方的临时表或目标表中提取已计算好的校验和数据进行比较。如果主从服务器上对应块的校验和一致,则认为该块数据一致;否则,标记为不一致。
  1. 报告与输出:
  • 比较完成后,pt-table-checksum 生成详细的报告,列出所有检查过的表以及它们各自的块是否一致。报告可以按照多种格式输出,如文本、CSV、HTML等,便于进一步分析和处理。报告中不仅会指出哪些表或块存在数据不一致,还可能包括不一致的具体行数和校验和值,有助于定位问题。
  1. 后续处理:
  • 对于发现的不一致情况,可以使用配套工具如 pt-table-sync 进行自动或半自动的修复。pt-table-sync 依据pt-table-checksum 的报告,将主服务器上的正确数据同步到从服务器,以恢复数据一致性。

总结:

pt-table-checksum 通过分块计算数据校验和、利用主从复制机制传播校验操作、并在主从服务器间比较校验结果,实现了对MySQL主从复制环境中数据一致性的高效在线校验。其工作流程设计旨在减少对生产环境的影响,同时提供详细的不一致报告,便于运维人员及时发现问题并采取相应措施修复数据。

相关推荐
草莓熊Lotso4 小时前
【Redis 初阶】Set 类型深度解析:去重集合的运算能力与实战场景
linux·网络·数据库·windows·redis·tcp/ip·缓存
煎饼皮皮侠5 小时前
【设计】设计一个web版的数据库管理平台后端(之五) --借鉴mybatis
数据库·mybatis
东风破_11 小时前
danci 2:创建的单词书到底存在哪里?从 Supabase 一路理解 ORM、Drizzle 和 RLS
数据库·后端·node.js
橙子家13 小时前
OSS 文件上传的几个风险点和解决方案
数据库
2601_9620664914 小时前
【Sql Server】Update中的From语句,以及常见更新操作方式
android·java·数据库
愤怒的苹果ext15 小时前
MySQL Shell备份恢复数据库
数据库·mysql·备份恢复·mysqlsh
数字新视界17 小时前
DCIM管理系统的技术架构与部署模式详解
数据库·物联网·数据中心·数据中心基础设施管理·dcim管理系统
何以解忧,唯有..17 小时前
Pydantic 介绍与使用:Python 数据校验的现代方案
数据库·python·microsoft
这个DBA有点耶18 小时前
数据库容灾进入“秒级时代”:同城双活架构原理、关键技术选型与落地实践
数据库·架构·dba
2601_9620748119 小时前
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL
大数据·数据库·mysql