GBASE南大通用技术分享:迁移项目数据抽样核对方案简述

近期完成的从某数据库(以下简称"对象数据库")到GBase 8a数据库的全量迁移,涉及库、表、存储过程和数据等,下面简要介绍数据核对的思路。

数据有两个来源:第一是历史数据,该部分数据按照从偶数抽取,落成文件,文件加载到GBase的流程进行处理;第二种是日常的前端系统卸载的数据,该部分数据可以直接执行文件加载到GBase。针对两种来源数据,执行数据核对如下:

1.条数核对

按照统一的时间字段分别对对象数据库和GBase数据库已经迁移的数据,统计时间段对应的数据量,然后进行核对,一致则通过。

2.明细核对

由于表数据量较大的关系,明细核对按照抽样进行,历史数据核对按照以下步骤进行:

A.从对象数据库按条件或者不设置条件抽取10条数据,落成文件

B.将文件加载到GBase的核查临时库

C.GBase库内执行临时核查库和已迁移库的数据驻字段核对

D.临时核查库的数据导出到文件

E.将A步骤和D步骤的文件,做sort处理后分别计算md5,如果一致则通过

日常加载数据核对方法与历史数据核对类似,A步骤的源数据从偶数抽取改成从日常文件中取10条样例数据即可。

3.明细核对可能出现的问题

A.对象数据库中的numeric如果不设置精度,默认在GBase创建表后列属性为decimal(65,6),数据可能与原偶数内的不一致,如果条件允许,可以计算一下偶数内涉及到的列数据的精度的最大长度,依此作为修改依据。

B.对象数据库的numeric如果设置精度,数据如果不足精度,并不会自动补齐,这个表现与GBase不同,数据核对时需要依据数据最大精度设置,免数据异常截断,

C.GBase的decimal类型列数据加载时会自动截断或者补齐精度,此时会产生Waring,但不会有skip,但是加载到bigint/int类会报skip,

D.decimal修改为bigint后,可能数据会超出bigint范围,引发后续问题,需要持续关注。

相关推荐
玄同7655 分钟前
SQLite + LLM:大模型应用落地的轻量级数据存储方案
jvm·数据库·人工智能·python·语言模型·sqlite·知识图谱
吾日三省吾码7 分钟前
别只会“加索引”了!这 3 个 PostgreSQL 反常识优化,能把性能和成本一起打下来
数据库·postgresql
chian-ocean8 分钟前
百万级图文检索实战:`ops-transformer` + 向量数据库构建语义搜索引擎
数据库·搜索引擎·transformer
小Tomkk28 分钟前
数据库 变更和版本控制管理工具 --Bytebase 安装部署(linux 安装篇)
linux·运维·数据库·ci/cd·bytebase
qq_12498707531 小时前
基于JavaWeb的大学生房屋租赁系统(源码+论文+部署+安装)
java·数据库·人工智能·spring boot·计算机视觉·毕业设计·计算机毕业设计
倒流时光三十年1 小时前
SpringBoot 数据库同步 Elasticsearch 性能优化
数据库·spring boot·elasticsearch
码农小卡拉2 小时前
深入解析Spring Boot文件加载顺序与加载方式
java·数据库·spring boot
怣502 小时前
MySQL多表连接:全外连接、交叉连接与结果集合并详解
数据库·sql
wjhx2 小时前
QT中对蓝牙权限的申请,整理一下
java·数据库·qt
冰暮流星2 小时前
javascript之二重循环练习
开发语言·javascript·数据库