使用 gt-checksum 分析迁移对象

背景

本文以从 ORACLE 迁移到 GreatSQL 为例讲述如何使用gt-checksum分析迁移对象。

关于gt-checksum

gt-checksum 是 GreatSQL 社区开源的一款静态数据库校验修复工具，支持MySQL、Oracle等主流数据库。如下是一个简单的分析迁移对象的使用案例。

本次使用的是 gt-checksum 商业版本

为什么需要分析迁移对象？

首先我们通过一个项目案例来说明一下去O过程中为什么需要分析迁移对象。

项目背景

当前有个去O项目，总共3000张业务表，总数据量大概在3T左右，业务方要求在3小时内迁移完成。

思考

这时，我们就要思考，如何能在规定时间内完成迁移？影响迁移效率的因素有哪些？

索引的选择性

业务表有没有索引；是主键索引还是普通索引；是全局索引还是本地索引；若存在索引，索引的离散度如何。

元数据合理性

业务表中有没有lob或者text字段，若存在，总共有多少个lob或text字段；业务表是否是分区表，表的分区类型是什么以及总共有多少个分区。

表的数据量

每张表各有多少数据量，百万级、千万级还是亿级别。

上述的这些信息，通过gt-checksum的迁移对象分析，我们都可以获取到。

下面开始分析流程。

如何分析迁移对象？

配置gc-task.cnf配置文件

分析行为依赖于配置文件 config-simple/gc-task.cnf，在分析操作开始前，需要先根据项目实际信息配置好此文件，如下是配置说明。

gc-task.cnf配置说明

DSNs（连接模块）

srcDSN：源端连接串
dstDSN：目标端连接串
srcDSN/dstDSN：格式存在差异严格根据示例填写注意双引号不要漏配置需仔细
密码中有&符号的需要转义处理下（&)

rules（规则模块）

object：迁移对象列表文件名称自定义；格式：库名分隔符表名位置：与gt-checksum在同级目录
limiter：迁移对象列表的分隔符，默认为逗号
igcount：分析时是否输出表行数 true: 不输出 false: 输出
active：生成配置文件类型 struct：表结构 index：索引 sync：数据迁移......

详细说明见 gc-task.cnf 文件注释

object配置说明

object 支持如下四种配置方式：

以迁移PCMS库下BMSQL_WAREHOUSE 、BMSQL_CONFIG、 BMSQL_DISTRICT_TMP三张普通表为例

一般情况无需映射（迁移到目标端后，库名表名不变）

SQL 复制代码

PCMS,BMSQL_WAREHOUSE
PCMS,BMSQL_CONFIG
PCMS,BMSQL_DISTRICT_TMP

映射关系示意图

SQL 复制代码

SOURCE                 -->  DEST
-- 示例1：PCMS,BMSQL_WAREHOUSE
PCMS.BMSQL_WAREHOUSE   --> PCMS.BMSQL_WAREHOUSE

库映射（迁移到目标端后，表名不变，库名改变）

SQL 复制代码

PCMS:WLKY,BMSQL_WAREHOUSE
PCMS:WLKY,BMSQL_CONFIG
PCMS:WLKY,BMSQL_DISTRICT_TMP

映射关系示意图

SQL 复制代码

SOURCE                 -->  DEST
#示例1：PCMS:WLKY,BMSQL_WAREHOUSE
PCMS.BMSQL_WAREHOUSE   --> WLKY.BMSQL_WAREHOUSE

表映射（迁移到目标端后，库名不变，表名改变）

SQL 复制代码

PCMS,BMSQL_WAREHOUSE:BMSQL_WAREHOUSE_0429
PCMS,BMSQL_CONFIG:BMSQL_CONFIG_0429
PCMS,BMSQL_DISTRICT_TMP:BMSQL_DISTRICT_TMP_0429

映射关系示意图

SQL 复制代码

SOURCE                 -->  DEST
#示例1：PCMS,BMSQL_WAREHOUSE:BMSQL_WAREHOUSE_0429
PCMS.BMSQL_WAREHOUSE   --> PCMS.BMSQL_WAREHOUSE_0429

库表映射（迁移到目标端后，库名表名都改变）

SQL 复制代码

PCMS:WLKY,BMSQL_WAREHOUSE:BMSQL_WAREHOUSE_0429
PCMS:WLKY,BMSQL_CONFIG:BMSQL_CONFIG_0429
PCMS:WLKY,BMSQL_DISTRICT_TMP:BMSQL_DISTRICT_TMP_0429

映射关系示意图

SQL 复制代码

SOURCE                 -->  DEST
#示例1：PCMS:WLKY,BMSQL_WAREHOUSE:BMSQL_WAREHOUSE_0429
PCMS.BMSQL_WAREHOUSE   --> WLKY.BMSQL_WAREHOUSE_0429

gc-task.cnf配置示例

Shell 复制代码

$ cat qianyi 
PCMS,BMSQL_WAREHOUSE
PCMS,BMSQL_CONFIG
PCMS,BMSQL_DISTRICT_TMP

$ cp -r config-simple config
$ cat config/gc-task.cnf
DSNs {
    srcDSN = "oracle|user/password@ip:port/sid"
    dstDSN = "cluster|user:password@tcp(ip:port)/information_schema?charset=utf8mb4"
}

rules {
    task {     
        object = "qianyi"
        limiter = ","
        igcount = false
        active = struct
    }
}

执行分析命令

gc-task.cnf 配置完成后即可进行迁移对象的分析操作，执行命令如下

Shell 复制代码

$ ./gt-checksum -f config/gc-task.cnf

如下输出表示分析操作成功

Shell 复制代码

$ ./gt-checksum -f config/gc-task.cnf
-- gt-checksum init configuration files -- 
-- gt-checksum init log files -- 
-- gt-checksum init check parameter --
-- gt-checksum check parameter legality--
godror WARNING: discrepancy between DBTIMEZONE ("+00:00"=0) and SYSTIMESTAMP ("+08:00"=800) - set connection timezone, see https://github.com/godror/godror/blob/master/doc/timezone.md
----begin read table object file and init table meta data---
----begin write data to xls ---
[gt_tableObjectOptimizer_2025-02-18T15-34-03.xlsx] 元数据校对Excel表格已生成
----begin general gt-checksum config file ---
[gc-struct.cnf] 配置文件已生成
-- gt-task Table object sorting completed !!! --

分析结果解析

分析操作执行成功后，会在 gt-checksum 同级目录下生成分析结果Excel ，文件以 "gt_tableObjectOptimizer_" 为前缀。

sheet说明

Excel中包含三个sheet，各个sheet说明如下：

indexTask：有索引的表清单
missindexTask：无索引的表清单
tableMiss：迁移对象列表中存在，但在源端Oracle环境中不存在的表清单

注意：

"迁移对象"指业务方给出的需要做迁移的表清单

tableMiss 中的表特别注意，这部分表需要拿出来去跟业务侧确认是否迁移

title 说明

Excel 中含三个 sheet 的 title 一致，内容解析如下：

Plain 复制代码

schema          库名                                                         
table           表名
lobCN           lob字段名称，若无lob字段，相关列为空                            
lobCT           lob字段类型
textCN          text字段名称，若无text字段，相关列为空                      
textCT          text字段类型
indexName       索引名称                                                      
indexType       索引类型
indexColumn     索引字段名称                                              
columnType      索引字段类型
cardinality     索引离散度
rate evaluation 索引离散度等级 有索引表： 优(>50%)良(40%-50%)差(<40%)  无索引表：差(有数据)  优(无数据)
table Rows      表count数  
partition Sum   表分区个数  0:normal表 非0:分区表
table Partition Type     表分区类型                                           
status          表状态  true:表在源端存在  miss:表在源端不存在
taskName        表任务名称

到此就是一个完整的迁移对象分析流程了。

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为MySQL或Percona Server的可选替换，用于线上生产环境，且完全免费并兼容MySQL或Percona Server。

相关链接： GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区：

社区有奖建议反馈： greatsql.cn/thread-54-1...

社区博客有奖征稿详情： greatsql.cn/thread-100-...

（对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~）

技术交流群：

微信&QQ群：

QQ群：533341697

微信群：添加GreatSQL社区助手（微信号：wanlidbc ）好友，待社区助手拉您进群。