OceanBase迁移工具说明

OceanBase的迁移工具说明:

前言:过往执行OB迁移到Mysql 过程中,都需要手动进行SQL DDL、DML的语句改写,用DBCAT工具可以大大增加工作效率。

  1. DBCAT 工具将OB或者其它源数据库转化为目标Mysql或者其它目标数据库的库表结构
  2. OMA 工具评估兼容性,高效的性能评估以及应用逻辑改造建议。
  3. DATAX 数据离线同步工具
  4. OMS 数据在线同步工具
  5. OBloader 数据导出工具

OMS的过程:

0.Supervisor 组件监控

1.DBCAT 将结构进行迁移与同步

2.Checker-Full 进行全量数据迁移(存量数据)

3.Store 用于(liboblog)增量日志的拉取与解析为中间定义的数据格式(可配置保留时间)

4.JDBCWriter 负责向目标端数据库并发写入(解析DDL与DML,负责DDL的执行)

5.Connecter 负责向目标端消息队列和关系型数据库全量、增量写入数据与同步

6.Checker组件(Checker-Full、Checker-Verify)。

7.Checker-Verify 组件负责迁移后的全字段校验。

Chekcer组件中包含Reader模块、Writer模块、Broker模块、统一数据模型层(与DATAX结构类似)。

【Reader模块】负责从源端读取数据,数据会在 【统一数据模型层】进行数据模型转化,【Writer模块】写入到【Broker模块】中。

【统一数据模型层】为下游适配的对象或语句进行数据模型转化。

【Broker模块】用于解耦Reader,Writer或其它模块。

相关推荐
OceanBase数据库官方博客5 天前
OceanBase DataStudio:让 AI数据生产从拼装走向一体化(技术解析与
人工智能·oceanbase
Database_Cool_7 天前
阿里云 PolarDB-X vs OceanBase 国产分布式数据库深度对比
分布式·阿里云·oceanbase
AllData公司负责人10 天前
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris
大数据·数据库·hive·mysql·oceanbase·tdengine
OceanBase数据库官方博客12 天前
OceanBase AI 时代,数据库的变与不变(技术解析与实践)
数据库·人工智能·oceanbase
程序员cxuan12 天前
OceanBase 为什么要做 AI 数据库?
数据库·人工智能·大模型·llm·oceanbase
OceanBase数据库官方博客12 天前
基于 OceanBase 湖库一体架构,构建 AI 时代的数据基础设施
人工智能·架构·oceanbase
OceanBase数据库官方博客13 天前
OceanBase Lakebase 架构解析:独立部署与智能叠加层模式的技术实践
架构·oceanbase
OceanBase数据库官方博客1 个月前
OceanBase + Flink 数据集成(第二部分):通过 JDBC 协议实现实时数据同步
大数据·flink·oceanbase
OceanBase数据库官方博客1 个月前
OceanBase × Flink 数据集成系列——旁路导入连接器的批量写入能力
架构·kubernetes·oceanbase