

Oracle迁移至KingbaseES前需先明确目标数据库对Oracle数据库的兼容度,得出结论后再进行迁移。本小节从Oracle兼容特性概览和Oracle数据库迁移实战两方面来介绍整体迁移操作步骤。

一、Oracle兼容特性概览
通常,异构数据库迁移的工作量主要集中在数据类型、SQL语言、PL/SQL语言、甚至客户端应用编程接口等诸多方面对两个数据库所进行的、大量的语法或功能的对齐处理,Oracle向kingbaseES迁移的情况也是如此。
为了降低迁移工作量,KingbaseES在其内部实现了大量兼容Oracle语法和功能的特性,且对于未提供支持的Oracle功能,KingbaseES也给出了相应的迁移建议。
数据类型
目标数据库对于源数据库数据类型的兼容度直接影响迁移的难易程度。KingbaseES支持几乎所有的Oracle的特有数据类型,如Oracle的NUMBER、VARCHAR2、CHAR(n)、DATE、INTERVAL和 ROWID等。不仅如此,KingbaseES也支持Oracle PL/SQL 中常用的复杂数据类型,如Oracle的RECORD类型、%TYPE属性、%ROWTYPE属性、关联数组、可变数组和嵌套表等。
SQL语句
在SQL语句的使用上,kingbaseES支持Oracle大多数常用的SQL语句。下述简单介绍KingbaseES兼容的Oracle SQL语句:
- TRUNCATE语句
- 层次查询
- DUAL伪表
- SELECT INTO的FOR UPDATE语句
- UPDATE [前缀]多列更新
- INSERT INTO TABLE ([前缀]列)
- DELETE [FROM] 语句
- WITH子句
- DBLINK
- CREATE FORCE VIEW
- SEQUENCE访问子句
- 闪回查询, 支持多个闪回的伪列
- PURGE子句
- 多种表达式,包括JSON表达式,ALL表达式等
- 多种内置函数,包括全文检索函数,score函数等
- 可更新多表JOIN视图
- DML分区
- 多种分区,支持全局索引
- SAMPLE子句
- INSERT、DELETE hint操作
- MERGE、INSERT、UPDATE、DELETE表、视图、子查询
- COPY语句
- 多列更新
- 物化视图
上述这些SQL语句均从语法和功能上实现了Oracle兼容。
PL/SQL语法
KingbaseES支持如下Oracle PL/SQL的常用语法:
- 赋值语句
- IF-THEN-ELSE 语句
- CASE 语句
- 多种循环语句,如LOOP 语句、WHILE-LOOP 语句和FOR LOOP 语句
- GOTO 语句
- %TYPE 属性和%ROWTYPE 属性
- REF CURSOR 游标
- %NOTFOUND、%FOUND、%ISOPEN 和 %ROWCOUNT 游标属性
- RETURNING INTO 语句
- EXECUTE IMMEDIATE 语句
- 支持 BULK COLLECT
- PL/SQL 支持集合类型(关联数组、嵌套表、可变数组)
- PL/SQL 异常处理
- FORALL 语句
- COMPILE 子句
- SELECT INTO
- SELECT BULK COLLECT INTO
- TABLE 表达式
- 伪列(CURRVAL、NEXTVAL、LEVEL)
- PL/SQL中事务处理
- 支持自治事务
PL/SQL对象
KingbaseES支持如下Oracle PL/SQL对象:
- 内置标量函数
- 行级BEFORE触发器
- 行级AFTER触发器
- INSTEAD OF触发器
- 语句级触发器
- 事件触发器
- 伪记录 OLD/NEW
- 匿名块
- 存储过程
- 函数
- 子类型
- 对象类型
- 包
- 嵌套函数
- anydata 对象类型
- 常用内置包,包括:
- DBMS_SQL
- DBMS_METADATA
- DBMS_RANDOM
- DBMS_OBFUSCATION_TOOLKIT
- DBMS_LOB
- DBMS_DDL
- DBMS_MVIEW
- DBMS_OUTPUT
- DBMS_SESSION
- DBMS_UTILITY
- OW_UTIL
- UTL_FILE
- UTL_TCP
- UTL_SMTP
- UTL_MAIL
- DBMS_SCHEDULER
- DBMS_JOB等。
客户端SQL交互工具
在实际应用中,通常客户导出的DDL语句和脚本是通过SQL交互工具执行的。对标Oracle,KingbaseES也提供了如下SQL交互工具:
- KSQL:命令行的SQL交互工具,类似Oracle的 SQL* PLUS。
- KStudio:图形化的SQL交互工具,类似Oracle的SQL Developer图形化工具。
通过上述工具,用户可以运行数据库实用程序,连接数据库服务器,发送SQL语句,运行SQL脚本,或运行KingbaseES数据库管理命令实施数据库管理等。
二、Oracle数据库迁移实战
KingbaseES内部提供了大量的Oracle兼容特性,因此,在实际的迁移过程中,一般只需对导出脚本做很少的修改,甚至在迁移对象功能全兼容的情况下可以不做任何修改。不仅如此,用户还可使用KDTS、KFS等多种工具简化迁移过程。
本节重点描述了将实际应用中使用的Oracle数据库迁移至KingbaseES数据库的完整过程,以及其中的主要迁移内容和关键迁移步骤。
主要迁移内容
在实际应用中,Oracle数据库的迁移包含数据库迁移、用户迁移、数据迁移和应用程序迁移,这些内容必须严格按照顺序进行迁移,否则可能会导致迁移受阻。
数据库是各种SQL和PL/SQL数据库对象的存放容器,用户是这些对象的管理者和使用者。因此,在进行数据迁移前,必须先迁移数据库、用户。
迁移应用程序前,需检查数据库对象迁移是否完成,完成后才能开始迁移应用程序,因为在应用程序中,可能会访问和操作前面迁移的数据库对象。
数据库、用户和模式迁移
启动目标数据库后,在目的数据库KingbaseES上创建与源数据库Oracle同名的数据库、用户,并授予新建用户使用该数据库和新建模式的权限。
另外,所创建数据库的字符集应与Oracle数据库字符集一致。如果KingbaseES已有同名数据库,则登录该数据库后,则只需创建同名用户。
Oracle数据迁移
确定使用在线迁移还是离线迁移,根据不同需要制定不同给的迁移策略,使用KDTS 和 KFS 完成数据库迁移。
应用程序移植
应用程序移植是指将Oracle API方式或嵌入式SQL方式的应用程序迁移至KingbaseES。它主要包括接口驱动程序和连接方法的迁移,以及Oracle扩展或私有的、且KingbaseES未兼容的API迁移。通常,该项任务的工作量较少。
在实际应用中,应用程序迁移与移植系统测试与调试通常交叉进行。
关键迁移步骤
应用系统从Oracle数据库迁移至KingbaseES数据库需要健全的项目团队和全面细致的项目执行过程。通常,将一个Oracle数据库迁移至KingbaseES主要包括迁移评估、 迁移准备、 数据迁移、 应用迁移和测试与调试迁移后的系统5个步骤。
迁移评估包含确定迁移目标、 评估迁移任务、 组建迁移团队三个阶段,迁移准备需要准备好迁移环境并进行数据库和用户迁移。
下面,分别对上述各个步骤进行详细说明。
迁移评估
确定迁移目标
开始迁移前,应根据用户的实际需求,确定迁移目标。这些目标诸如:
- 迁移Oracle数据库的规模。
- 迁移Oracle数据库对象的种类和特征,如简单和复杂迁移对象所占比例等。
- 迁移的难易程度,如是否迁移大对象,是否迁移大量约束等。
- 迁移的工期要求。
- 迁移中业务系统是否可以处于停止服务状态。
- 对目标系统的技术指标要求,诸如平台、版本、应用编程接口、工具、可用性、安全性和性能指标要求等。
明确迁移目标以后,即可开始迁移任务评估。
评估迁移任务
迁移前对迁移的可行性、工作量、难易程度和工作进度等进行充分评估是为了降低迁移过程中的未知风险。通常,迁移评估主要包括以下内容:
- 迁移技术指标,如迁移业务压力和性能指标等。
- 迁移数据规模,如迁移各类数据库对象的数量,PL/SQL程序的规模等。
- 迁移中KingbaseES不支持功能的种类和数量。
- 迁移的约束种类和数量。
- 迁移过程中可能遇到的其他问题。
在Oracle迁移中常用的评估模板如下表所示:
| 项目 | 描述 |
|---|---|
| Oracle数据库版本 | 8.1.7.4 |
| 操作系统版本 | Windows 2000/2003 Server |
| 服务器型号 CPU配置 内存(RAM) 磁盘(Disk Profile) | 联想/SUN |
| 服务器个数(# of Servers) | 1或2 |
| 用户数/天(# Users/Day) 事务量/天(# Transactions /Day) | 几十/天 |
| 当前数据库大小 数据库增长速率(#GB/month)目标用户(Schema) | 几个GB |
| 应用方式(OLTP/OLAP) | OLTP |
| 应用服务器(中间件) | 无 |
| 客户端应用类型 (C/S,B/S) | C/S |
| 客户端应用编程语言 | Delphi7 |
| 客户端应用连接接口 | ODAC/ADO |
| 是否深入SQL应用 | 无 |
| 监控工具 | 无 |
| 备份方式 | Exp/imp |
| 其它工具(备份软件等) | 无 |
| 高可用要求 | 较高 |
| 高可用配置方案 | VCS或单机 |
| 项目 | 描述 |
|---|---|
| 迁移分析日期 | 20220105下午 |
| 迁移分析人员KingbaseES版本 | ABC |
| Oracle 版本 OracleSchema | 11.1.7.4 |
| Oracle DB Size (GB) | 几个GB |
| Oracle Schema Size (MB) | 几个GB |
| 类型 | 小计 | 备注 |
|---|---|---|
| Function | 7 | 较少用 |
| Index | 有 | |
| LOB | 有 | 最大到几十MB,主要是照片、word、视频(较少) |
| Materialized View | 有>10 | |
| Procedure | 25 | |
| Sequence | 有>10 | |
| Table | 1660 | 约束较多 |
| Table Partition | 无 | |
| Trigger | <30 | |
| JOB | 无 | |
| Package | 无 | |
| Package Body | 无 | |
| Type | 无 | |
| View | >200 | |
| Synonym | >300 | |
| 对象共计 |
| 类型 | 小计 | 备注 |
|---|---|---|
| CHECK OR NOT NULL | ||
| FOREIGN KEY | ||
| PRIMARY KEY | ||
| UNIQUE KEY | ||
| OTHER | ||
| 约束共计 |
| 特性 | 小计 | 备注 |
|---|---|---|
| 数据压缩 | 无 | |
| 索引组织表 | 无 | |
| 维度(Dimensions) | 无 | |
| 物化视图 | 无 | |
| 存储概要 | 无 | |
| 高级队列 | 无 | |
| 空间数据管理 | 无 | |
| 全文搜索 | 无 | |
| 数据库链接 | 无 | |
| 数据复制 | 无 | |
| RAC | 无 | |
| 逻辑Standby | 无 | |
| 物理Standby | 无 | |
| 自动存储管理 ASM | 无 | |
| 自动工作负载信息库 AWR | 无 | |
| 共计 |
组建迁移团队
Oracle数据库迁移团队的成员至少应具备以下的知识与技能:
- 熟悉Oracle和KingbaseES的SQL语言和PL/SQL语言特性,以及相关的KingbaseES Oracle兼容特性。
- 熟悉Oracle和KingbaseES的各种应用编程接口,以及相关的KingbaseES Oracle兼容特性。
- 熟悉Oracle和KingbaseES的相关客户端工具,以及这些工具间的相同点和异同点。
迁移准备
准备迁移环境
在完成迁移评估后,迁移工程师需要开始准备迁移环境,这些准备工作诸如:
部署目的数据库服务器 , 部署目的数据库服务器应遵循以下原则:
- 目的数据库服务器的CPU、内存、网络环境等硬件应尽量采用较高的配置。
- 如果需要迁移的Oracle数据库系统规模较大,如超过1GB,则建议把Oracle和KingbaseES部署在不同的物理机器上。
- 为确保迁移效率,应尽量把KingbaseES和Oracle服务器部署到同一局域网内。
获取并安装必要的软件 , 迁移前应获取并安装如下软件:Oracle数据库系统、KingbaseES数据库系统、PL/SQL Developer、JDBC和ODBC驱动程序、C语言开发工具、OCI软件、DCI软件、TPC-C测试工具、LoadRunner等。
如果迁移数据规模较大,建议对安装的KingbaseES数据库服务器进行适当的优化,如增大shared_buffer大小、预先创建较大的日志文件,预先申请足够的表空间数据库文件等。
完成上述准备工作后,迁移工程师便可开始Oracle数据库迁移工作了。
获取 Oracle数据库的相关信息 , 迁移前,应获取源数据库Oracle服务名及迁移的数据规模信息。其中,前者用于PL/SQL Developer工具的登录操作,后者用于估算数据迁移时间和设计迁移方案。
- Oracle数据库基本信息
获取源Oracle数据库的:
- IP地址
- 实例名
- 网络服务端口号
- 用户名/密码
在目标KingbaseES上:
- 创建与源Oracle用户(如scott)同名的用户(scott)。
- 创建与源Oracle(如ORCL)同名的数据库(ORCL),属主为scott。
- 创建与源Oracle(与用户名相同t)同名的模式scott,属主为scott。
- 查询Oracle数据库编码方式
plain
select userenv('language') from dual;
USERENV('LANGUAGE')
SIMPLIFIED CHINESE_CHINA.ZHS16GBK
- 查看表数据量大小
查看当前用户在Oracle中的表大小,按从大到小排序(单位GB)。
plain
select segment_name,bytes/1024/1024/1024 from user_segments where segment_type='TABLE' order by bytes desc ;
XFJXX 16.046875
XFRXX 7.779296875
PCK 7.4375
BLFSXX 5.0625
XFSXXX 2.3125
DFGZXX 1.3359375
FJB 0.53125
TSJXX 0.078125
- 检查数据库日期格式
时间的默认格式为:ISO, MDY
在配置文件中添加:datestyle ='ISO,YMD' 修改为年月日的格式(99会改为1999)
在某项目中迁移数据时遇到:服务器报错,迁移工具中断,迁移停滞
oracle数据库中有日期"0099-09-30 00:00:00",迁移工具输出为"99-09-30 00:00:00",KingbaseES中将99识别为月份报错:ERROR: date/time field value out of range
plain
--即使没有报错也会出现错误
set ora_date_sytle = true;
CREATE TABLE T_DATE(COL DATE);
INSERT INTO T_DATE VALUES('11-10-10 10:10:10');
SELECT * FROM T_DATE;
COL
---------------------
2010-11-10 10:10:10
(1 row)
配置KingbaseES的Oracle兼容开关 , 根据实际情况,应对目的数据库KingbaseES进行适当的Oracle兼容配置。通常,应配置以下会话级兼容参数:
1) nls_length_semantics :设定char 类型字段默认单位是byte 还是char 。此外,标识符最大长度以此值为单位。如果它为char ,则标识符最大长度为63个char ,否则为63byte。
在KingbaseES系统参数 nls_length_semantics 缺省值是"CHAR",需要与待迁移的Oracle相同。
Oracle字符类型的 byte|char 属性的默认值是由 Oracle 提供的数据库参数 NLS_LENGTH_SEMANTICS 决定的,可通过下方语句进行查询:
plain
select value from nls_database_parameters where parameter = 'NLS_LENGTH_SEMANTICS';
VALUE
BYTE
如果未修改可能会出现:迁移char类型时,由于数据库存储的类型不同,导致迁移的数据存在多余空格的情况。
2) search_path :模式搜索路径。例如search_path 为 $USER,SCOTT,PUBLIC时,系统将首先搜索与登录用户同名的模式对象,然后搜索SCOTT模式对象,最后搜索PUBLIC模式对象。
3) default_with_oids:OID伪列开关。KingbaseES的OID伪列可兼容Oracle的ROWID伪列。因此,如果Oracle迁移对象有ROWID伪列,则建议用OID伪列替代。
配置目的库KingbaseES性能参数 , 为了提高迁移速度,应对目的库KingbaseES进行性能优化配置。
例如:
- 根据迁移数据规模的大小,迁移前可预先创建适当大小的数据和日志文件。
开始迁移之前根据待迁移数据库的大小,保证KingbaseES数据目录所在位置有足够的空间。
2)根据KingbaseES服务器硬件配置的实际情况调整shared_buffers大小,默认是128M,建议调整为内存的1/4大小。
数据库、用户和模式迁移
数据库、用户迁移主要包括以下内容:
- 获取源Oracle数据库的IP地址、实例名、网络服务端口号、用户名/密码等信息。
- 在目标KingbaseES数据库上,使用 Ksql 或 Kstudio 工具上执行如下操作:
创建与源Oracle用户同名的用户,例如创建与Oracle同名的scott用户。
创建与源Oracle同名的数据库,例如创建与Oracle同名的ORCL数据库,它的属主为scott。若同名数据库存在,可以使用其他的数据库名称,若使用了新的数据库名称,则需要修改应用程序的连接串中的数据库名称。
- KingbaseES 默认initdb就是Oracle兼容模式。
数据迁移
Oracle 向 KingbaseES进行数据迁移需使用以下工具:
- KingbaseES 数据迁移工具 KDTS 动态加载待迁移的数据库访问接口,方便用户按照需求指定和使用。异构数据源之间的数据迁移:支持Oracle9i、10g、11g、12c、19c到KingbaseES的数据迁移。
- KingbaseES 数据同步工具 KFS 支持同、异构数据源之间的数据迁移。KingbaseES 数据同步工具 KFS 支持结构迁移、支持全量数据迁移、支持列名映射,支持数据迁移过滤,在配置数据任务时,可以对迁移的表配置where条件、通过匹配的where条件过滤需要迁移的数据。
一般而言,不同的迁移方式需要用到不同的迁移工具:
- 离线迁移,使用 KDTS 即可完成 Oracle 的完整迁移。
- 在线迁移,需要先使用 KDTS 完成历史状态迁移,然后使用 KFS 完成数据的在线追平。
下述分别介绍使用离线迁移方式和在线迁移方式迁移数据的步骤:
- 离线迁移
用户可使用KDTS进行数据的离线迁移,KDTS提供了两种形态(WEB、SHELL),用户可根据需要进行选择,以下章节将分别介绍WEB、SHELL版本进行oracle迁移的具体步骤。
WEB迁移步骤
创建源数据库连接 ,创建数据库连接界面如下,填写数据源信息,包括: "连接名称"、"数据库类型"、"数据库版本"、"服务器地址"、"端口"、"用户名"、"密码"、"数据库"、"连接参数"。

创建目标数据库连接 ,创建数据库连接界面如下,填写数据源信息,包括: "连接名称"、"数据库类型"、"数据库版本"、"服务器地址"、"端口"、"用户名"、"密码"、"数据库"、"驱动"、"URL"、"连接参数"。

新建迁移任务
,KDTS采用向导页的方式指导用户新建迁移任务,简单易用,用户依次配置"选择数据源"-"选择模式"-"选择迁移对象"-"配置参数",即可快速配置一个迁移任务。
- 选择数据源
填写自定义任务名称(任务名称不能重复),选择"源数据库"和"目标数据库",或者选择"新建数据源"后使用。

- 选择模式
选择需迁移的模式(如需选择模式在系统模式中可选中"包含系统模式"复选框)的表、视图、序列、函数、存储过程、程序包、同义词。当模式较多时也可以通过左上方的查询框进行检索。 请至少选择一种模式,否则将收到错误提示,以至于不能完成新建任务。

- 选择迁移对象
通过已选模式选择需要迁移数据的表,模式较多时可在已选模式搜索框内输入模式名关键字进行快速检索。

可迁移此模式下全部表,也可以指定或排除部份表,当选择"包含指定表"或"排除指定表"时,请通过"从列表选择"、"从文件导入"或者在输入框内输入表名将数据添加到包含列表中,若未添加数据,则会提示错误导致无法进行下一步并完成新建任务。

点击"包含指定表"时也可选择多种方式。可直接在输入框内填写表名,多个表用","分割,回车确认;"从列表选择"可在模式中选择指定表;若需"从文件导入",可点击"下载导入模板",根据导入模板规则填写,然后从文件导入该模板。当需要"排除指定表"时,同指定部份表相同操作,但结果相反。

从列表选择表时,可选择对应模式、检索表名关键字、数据条数限制进行快速检索对应的表。点击"添加"按钮后加入到已选列表,当想要移除部份表时可以选择对应的表点击"移除"按钮取消表。选择完成后点击确定。

- 配置参数
迁移工具提供了一系列配置参数用于迁移方案的个性化配置,满足多种迁移场景。配置参数分为"迁移配置"、"数据类型映射"、"线程配置"三个方面。以下以迁移配置为例,介绍各参数的含义。其他配置项请参考工具-迁移工具章节描述。

- 表默认处理方式,包括两个复选框项("建表/重建表"、"导入数据"),迁移到KingbaseES数据库是否需要建表或者重建表,以及是否只迁移表结构而不迁移数据的选择,根据实际需求选择合适的选项(默认是全选)。
- 表排序依据,对迁移的表进行排序,可通过"按行数和大字段大小交替"、"行数"、"大小进行排序"(默认是按行数和大字段大小交替)。
- 表数据读取和写入,对表数据的读取和写入制定规则,可操作项包括"源库游标读取记录数"(默认是100)、"批量写入目标库记录数"(默认是1000)、"每次批量提交大小"(默认是100MB)、"LOB字段预读取大小"(默认是4000Byte)。
- 大表拆分阈值依据,对大表进行拆分迁移,设置拆分界限。
- 非对象设置包含"主键"、"检查约束"、"唯一约束"、"外键"、"索引"、"触发器"、"自动转换对象名",可以根据自己的需求选择是否迁移这些非对象数据(默认是全选)。
- 数据库连接数设置,可以限制迁移程序对源数据库和目标数据库的最大连接数(默认是100)。
执行迁移任务
,可将此任务作为预迁移任务点击"保存",或者作为执行任务点击"保存并迁移"。迁移完成后任务状态将变成:
- 迁移完成,迁移结束"状态"栏显示"成功",则迁移任务成功。
- 迁移失败,迁移结束"状态"栏显示"失败",则迁移任务失败。失败后可点击详情查看日志有助于解决问题。

查看迁移报告及问题处理
,迁移完成后,需要确认执行结果,包括迁移数据量,是否有错误发生,可以通过迁移日志和迁移结果进行查看。
"迁移日志"打印迁移任务执行后的日志,具体可分为"系统日志"、"Error日志"、"Info日志"。
"迁移结果"功能的工作区包括"任务执行批次"、"迁移对象"、"总数"、"成功数"、"失败数"、"略过数"、"操作",可以查看历史迁移任务执行的每次记录,以及每次迁移的对象、成功数、失败数、查看失败任务的错误日志。

SHELL迁移步骤
工程目录说明 ,使用SHELL方式进行迁移需要对工程文件有一定了解:
- bin: 启动脚本
- conf: 配置文件
- doc: 帮助文档
- drivers: 数据库连接驱动(注意不同版本驱动的存放目录差别,详见readme.md)
- jdk: jdk
- kdms: kdms程序
- lib: 程序包
- logs: 日志
- result: 迁移报告
JDK安装 ,下载与KDTS安装服务器相匹配的JDK(需要匹配操作系统和CPU架构,如Liunx/AArch64、Linux/x64、Windows/x64等),版本选择JDK 11或更高。下载地址: https://jdk.java.net/archive/, 将下载的JDK解压到KDTS-CLI/jdk目录下即可。
备注
- 请使用解压版本的JDK,以免安装JDK影响服务器上的其它应用。
- 不要把当前的JDK加入系统环境变量,以免影响服务器上的其他应用。
- 如果需要使用服务器上已有的JDK,配置bin/startup.sh(Windows平台为startup.bat)中的JAVA_PATH即可。
配置数据库连接信息,配置步骤分为3步:激活配置文件、配置数据库连接、配置相关参数。
1)进入KDTS-CLI/conf目录下,打开application.yml文件,根据源库类型设置当前激活的源库配置(active: oracle),如下所示:

在正确设置application.yml中的active项后,打开对应配置文件(datasource-oracle.yml),按实际运行环境进行配置即可。
2)配置源端数据库连接信息、目标数据库连接信息。编辑conf/datasource-oracle.yml文件,编辑源端和目标端连接信息,包括url、driver-class-name、username、password信息,如下图所示:


3) 配置要迁移的源库模式,数据库对象,涉及到的参数见下图:


4) 迁移配置参数说明
编辑conf/datasource-oracle.yml文件有多个配置参数,可灵活使用。以下列举常用的配置参数。
- fetch-size,源数据库游标读取记录数,在一定范围内增加该值可提升读取效率,但会增加内存开销。
- table-with-large-object-fetch-size,源数据库含大对象数据表的游标读取记录数,此参数针对有大对象字段的表。
- large-table-split-threshold-rows,大表拆分阈值行数(当表的行数超过此值时,将对表进行拆分,每块的记录数为此值和表总记录数除以"拆分最大块数"中的最大值)。
- large-table-split-threshold-size,大表拆分阈值大小(单位为M),当表的数据大小(普通字段+大对象字段)超过此值时,将对表进行拆分。
- large-table-split-condition-file,大表拆分条件定义文件,优先于按行数和大小拆分。
- table-data-filter-condition-file,表数据过滤条件定义文件。
- use-kdms,是否使用kdms做转换(视图、函数、存储过程、包、触发器)。
- kdms-url,kdms访问地址,前提是use-kdms: true。
- write-batch-size,目标数据库表数据批量提交记录数.
- write-batch-size-big-lob,目标数据库表数据批量提交记录数,特指大对象数据。
- drop-existing-object,是否默认删除目标库中已存在的对象(如表、视图等)。
- truncate-table,是否默认清空目标库中已存在的表数据。
- rename-object,目标数据库对象重命名,除表名、列名外的其他对象: pk、fk、constraint、unique constraint、index 等。
- useDbmsStats,是否使用数据库系统统计信息(如表的记录数、大小等)。
- useManualScript,是否使用手工脚本。
- useKdms,是否使用kdms做转换(视图、函数、存储过程、包、触发器)。
- kdmsUrl,kdms访问地址。
- kdmsSourceDbType,kdms源数据库类型。
- kdmsTargetDbType,kdms目标数据库类型。
- readDataTimeout,读数据超时时长(单位毫秒,0表示永不超时)。
- maxRetries,最大重试次数。
- retryInterval,重试间隔(毫秒)。
- readDataCanResume,读数据(中断后)能否恢复。
- characterNeedDecoding,字符是否需要解码,处理类似Oracle字符集为US7ASCII、WE8ISO8859P1等时迁移中文乱码的问题。
- encodingCharset,编码字符集(字符集为US7ASCII、WE8ISO8859P1设置为"ISO-8859-1")。
- decodingCharset,解码字符集(字符集为US7ASCII、WE8ISO8859P1设置为"GB18030")。
- decodingBytes,是否解码字节(字符集为US7ASCII时设为true)。
- dataCompareBufferSize,源端数据对比缓冲区大小(行数)。
- dataCompareAlgorithm,数据对比摘要算法。
- maximumPoolSize,源数据库最大连接数。
线程相关设置
可根据实际服务器配置按比例调整,如果与目标数据库运行在同一服务器上,应将绝大部分资源分配给数据库。
进入 KDTS-CLI/conf目录下,打开:kb-thread-config.xml,如下图所示:

数据迁移属于IO密集型操作,涉及网络络IO和磁盘IO的交互,一旦发生IO,线程就会处于等待状态,当IO结束,数据准备好后,线程才会继续执行。为提升数据迁移的效率可以多设置⼀些线程池中线程的数量,避免任务等待,线程可以去做更多的迁移任务,提高并发处理效率。但不是线程数设置的越高,效率就越高,线程上下文切换是有代价的。 对于对于IO密集型线程数的设置公式为:线程数 = CPU核心数/(1-阻塞系数) ,其中阻塞系数一般为0.8~0.9之间,取0.9则:
双核CPU: 2/(1-0.9) = 20
64核2路CPU: 64*2/(1-0.9) = 1280
启动脚本 ,进入 KDTS-CLI/bin 目录下,编辑: startup.sh:
- 检查JDK的路径是否正确
JAVA_PATH=${BASE_PATH}/jdk
- 设置JVM内存
系统默认自动获取JVM内存参数,若需手动调整JVM参数:
<font style="color:rgb(68, 73, 80);background-color:rgb(246, 247, 248);">JAVA_OPT="-server -Dfile.encoding=UTF-8 -Dconfig.path=$\{CONFIG_DIR\} -Xmx16g -Xms16g"</font> 主要是: <font style="color:rgb(68, 73, 80);background-color:rgb(246, 247, 248);">-Xmx16g -Xms16g</font> 参数
- 启动运行脚本
进入 KDTS-CLI/bin目录,执行: ./startup.sh 。
查看迁移报告及问题处理
,可以在运行日志(kdts_plus_***.log)中查看到迁移整个过程的信息,包括任务启动、迁移进程、结果汇总。
可查看result下的迁移结果(在形如"result/2021-12-02_15-15-15/Sehcma1"目录下)
- index.html--报告主页面
- detail_XXX.html--XXX详细信息(如表结构、表数据、表主键等)
- FailedScript--失败脚本目录
- IgnoredScript--略过脚本目录
- SuccessScript--成功脚本目录
在迁移过程中一旦某个对象创建失败,KDTS会将该对象的创建sql保留到本次迁移任务文件夹下的FailedScript目录下*.sql文件,用户可以手动修改后通过Ksql或者KStudio工具手动执行。
- 在线迁移
在线迁移过程中,为保障异构数据库数据同步且客户业务不停机,需要一个中间数据库(与源端数据库版本相同的单实例数据库)做媒介迁移存量数据。操作的过程分两部分。
- 先将存量数据迁移至中间数据库上,然后KDTS迁移工具进行初始数据搬迁或通过ETL进行初始数据搬迁至异构数据库(目标数据库)中。
- 待上一步操作完成,从指定断点开始启动KFS源端,正常启动目标端的KFS程序(在已经有KFS运行的情况下,可能需要重置KFS)。
备注
在迁移源库存量数据时避免做以下操作:
1). 运行大型批处理操作会降低复制速率。
2). 备份时执行DDL操作将导致DML和DDL之间存在锁问题
源端数据库备份
- 获取当前数据库一致性scn号
plain
alter system checkpoint global;
select checkpoint_change# from v$database;
假设获取的值为200725471,该scn号将用作启动KFS起始的scn号。
- 创建备份目录(需要sysdba权限)
plain
create directory dump_dir as 'd:/dump_dir';
grant read,write on directory dump_dir to kfs_user;
- 完整备份数据库
在单实例oracle数据库服务器上执行(导出用户kfs_user的内容):
plain
expdp kfs_user/123456 schemas=kfs_user directory=dump_dir flashback_scn=200725471 dumpfile=DBNAME_20220511.dump
存量数据迁移
- 在中间库中创建备份目录(需要sysdba权限)
plain
create directory dump_dir as 'E:/dump_dir';
grant read,write on directory dump_dir to kfs_user;
- 将源端备份的数据文件拷贝至E:/dump_dir目录下
- 将备份的数据还原至中间库
plain
impdp kfs_user_new/123456 directory= dump_dir remap_schema=kfs_user:kfs_user_new table_exists_action=replace dumpfile= DBNAME_20220511.dump
- 使用数据迁移工具(KDTS)将中间库的数据搬迁至目标数据库。
启动KFS完成数据追平
备注
若KFS之前已经部署运行,则源端和目标端需要先执行重置命令fsrepctl --service XXX reset -all --y,确认中间表、kufl文件等被清除。 KFS部署参考《Kingbase FlySync 安装部署手册》。
源端操作 ,先启动KFS到offline状态,replicator start offline。再使用ONLINE命令,将源端的KFS完全启起来,执行ONLINE命令时需要指定-from-event参数,参数值为备份数据库时查询的scn值。
plain
replicator start offline
fsrepctl -service oracle online -from-event ora:200725471: 200725471
目标端操作 ,启动目标端KFS,等待数据追平。
提示
追平的判断方法:
[hes@h1-105](mailto:hes@h1-105) \~\]$ fsrepctl services Processing services command... NAME VALUE ---- -----appliedLastSeqno: 3 //若源端无新数据产生,则源端和目标端相同 appliedLatency : 0.297 //若源端无新数据产生,延迟时间为0 role : master serviceName : postgresql serviceType : local started : true state : ONLINE Finished services command... **多次迁移** 若项目开发过程中,需要定期从一个指定的源数据库迁移到目的数据库中, 那么根据迁移时源数据库和应用的状态,决定离线迁移还是在线迁移。 同时,由于是多次迁移,需要考虑每次迁移时数据库对象的定义是否需要迁移, 若不需要,则只迁移数据就可以,使用 KDTS 和 KFS 都支持只迁移数据; 若每次迁移时需要迁移对象定义,则: 1)对于定义发生变更的表,选择迁移定义和数据。可使用 KDTS的"迁移部分表"功能完成,详细步骤可参考 [迁移工具](https://docs.kingbase.com.cn/cn/KES-V9R4C16/application/application-develop-guide/tools/migrate_tools#%E8%BF%81%E7%A7%BB%E5%B7%A5%E5%85%B7) 。 2)对于定义没有发生变更的表,只同步数据即可。可使用 KDTS的"按条件迁移"功能完成,详细步骤可参考 [迁移工具](https://docs.kingbase.com.cn/cn/KES-V9R4C16/application/application-develop-guide/tools/migrate_tools#%E8%BF%81%E7%A7%BB%E5%B7%A5%E5%85%B7) 。 ##### 应用代码迁移 **服务器应用代码迁移** 数据迁移后,需要迁移应用系统中用到的服务器应用代码,例如 PL/SQL。 KDTS 已经完成了存储过程,函数,包等 PL/SQL对象的迁移, 只需要关注应用代码中用到的匿名块的代码的迁移。KingbaseES 的 plsql 语言和Oracle的plsql高度兼容, 需要关注如下2点: 1. package中Oracle 允许存在同名同参数的存储过程和函数,KingbaseES 不支持,需要重命名为不同名字。 2. KingbaseES 不支持 Object type的方法的连续调用,例如不支持 方法1.方法2.方法3, 需要改写为 ```plain var1 := 方法1; var2 := var1.方法2; var3 := var2.方法3; ``` **客户端应用代码迁移** 在应用编程接口方面,KingbaseES与Oracle兼容程度较高,所以,一般情况下,应用程序迁移比较容易。应用程序迁移通常应和迁移后的系统测试同时进行。这样可及时修改测试过程中发现的问题。 通常,在应用程序可采用API方式访问和操纵数据库: 该方式通过数据库厂商提供的各种标准应用编程接口在应用程序中与数据库进行交互。常用的应用编程接口如JDBC和ODBC等。目前,大多数数据库厂商均提供很多标准的数据库API及其驱动程序。 在实际应用中,应首先加载驱动程序。加载成功后,利用API函数与数据库交互并完成对数据库数据的操作。 **ODBC** 对于使用ODBC的应用程序,应创建 KingbaseES ODBC 数据源,然后修改应用程序中连接数据库的用户名、密码等。此外,在Windows系统下对于OLEDB、ADO和NDP,则不需创建数据源。 1. Windows数据源配置     具体配置参数解释请参考 [KingbaseES客户端编程接口指南-ODBC](https://docs.kingbase.com.cn/cn/KES-V9R4C16/migration/best_practice/oracle_best_practice/#KingbaseES%E5%AE%A2%E6%88%B7%E7%AB%AF%E7%BC%96%E7%A8%8B%E6%8E%A5%E5%8F%A3%E6%8C%87%E5%8D%97-ODBC) 。 1. Linux数据源配置 首先检查 ODBC Driver 是否已经安装。在系统中找到 odbcinst.ini 文件,和/usr/bin/odbcinst 对应的 odbcinst.ini 在 /etc 目录下,和 /usr/local/bin/odbcinst 对应的 odbcinst.ini 在 /usr/local/etc 目录下。在odbcinst.ini 文件中查找 \[KingbaseES 9 ODBC Driver\] 这一项。 如果没有,则参考增加如下内容: ```plain [KingbaseES 9 ODBC Driver] Description = KingbaseES 9 ODBC Driver for Linux Driver = /opt/Kingbase/Odbc/lib/kdbodbcw.so 增加odbc.ini文件,内容如下: [kingbase] Description = KingbaseES Driver = KingbaseES 9 ODBC Driver Servername = 127.0.0.1 Port = 54321 Username = SYSTEM Password = MANAGER Database = TEST ``` 具体配置参数解释请参考 [KingbaseES客户端编程接口指南-ODBC](https://docs.kingbase.com.cn/cn/KES-V9R4C16/migration/best_practice/oracle_best_practice/#KingbaseES%E5%AE%A2%E6%88%B7%E7%AB%AF%E7%BC%96%E7%A8%8B%E6%8E%A5%E5%8F%A3%E6%8C%87%E5%8D%97-ODBC) 。 **移植Oracle OCI应用程序** KingbaseES支持OCI的大部分常用接口。 具体参见手册 [KingbaseES客户端编程接口指南-DCI](https://docs.kingbase.com.cn/cn/KES-V9R4C16/migration/best_practice/oracle_best_practice/#KingbaseES%E5%AE%A2%E6%88%B7%E7%AB%AF%E7%BC%96%E7%A8%8B%E6%8E%A5%E5%8F%A3%E6%8C%87%E5%8D%97-DCI) 。 **其它应用框架** 其它应用框架的使用,请参照客户端编程开发框架的使用指南。如无说明,请及时联系KingbaseES支持工程师。 ##### 测试与调试迁移后的系统 任何一个成熟的应用系统如果代码、尤其是关键代码变动后,则应进行全面细致的测试。类似的,更换新的后台数据库系统以后,也应对迁移后的数据库系统进行全面的功能和性能测试。 **功能测试和排错** 功能测试是指对迁移后的数据库系统的每一个模块和功能进行全面的系统回归测试,用以确保新系统各个功能的正确性。 因此,完成数据库对象和应用程序迁移后,应对迁移后的系统进行全面的功能测试,并对测出问题及时分析、排查和修改。对那些很难定位的问题,请及时联系KingbaseES支持工程师。 **性能测试和调优** 迁移后的系统性能测试和调优是在完成迁移得系统功能测试后和系统上线前,在实际或模拟生产数据上,对迁移后的系统进行的性能测试和调优。 迁移后的系统性能测试和调优的主要步骤如下: * **构造测试数据**:若条件允许的话,建议构造与实际生产数据规模相同的数据,并模拟构造未来一年、两年、五年或更长生命周期的数据进行测试。 * **部署测试软硬件环境**:根据测试数据规模的大小,配置适当的测试软硬件环境。 * \*\*性能测试:\*\*既可采用手动方式,也可利用TPCC测试工具、LoadRunner等工具对迁移后的系统进行自动测试。 * **性能调优**:对未达到性能指标的功能模块及其SQL语句进行优化并给出相关建议。 通常,性能测试效果与测试数据规模、软硬件配置等因素密切相关。因此,建议性能测试时,测试数据规模、软硬件配置应尽量与将来的实际生产环境一致。必要时,在未来一年、两年、五年等不同模拟数据规模场景下,应分别测试迁移后的系统的性能指标,用以保证钱以后的系统未来仍能具有良好的性能表现。 ### 三、oracle gis 迁移最佳实践 KingbaseES已适配主流GIS平台(ArcGIS/GeoScene),目前支持将使用该平台的Oracle或PostgreSQL数据库迁移至KingbaseES数据库。 以下为将包含GIS数据的Oracle 11g数据库迁移至KingbaseES(Linux x86平台)的迁移步骤说明。 **备注** GIS数据的迁移依赖于非GIS数据,若在非GIS数据迁移完成之前迁移GIS数据,可能会引发未知报错。 **GIS数据的迁移需保证源端数据库和目标端数据库都是开启且正常提供服务的,并且GIS平台上存在两个数据库的地理信息数据库。** #### 前置工作 在进行包含GIS数据的数据库迁移前,需要先在目标数据库做一些前置操作,并确认数据库对GIS平台的适配度。 ##### 准备目标数据库 软件准备: kingbase-server-linux-x86_64.tar 和 postgis_libs.tar 包。 **配置postgis插件和初始化数据库** * 配置postgis参数 ```plain ## 解压缩数据库包 tar -xvf kingbase-server-linux-x86_64.tar ## 拷贝插件包,若数据库目录(lib、bin、extension)下已有postgis相关的包,则不需要再拷贝 cp /home/kingbase/20220105/lib/postgis_libs/* /home/kingbase/20220105/lib/ cp /home/kingbase/20220105/postgis-3.1.2/bin/* /home/kingbase/20220105/bin/ cp /home/kingbase/20220105/postgis-3.1.2/lib/* /home/kingbase/20220105/lib/ cp /home/kingbase/20220105/postgis-3.1.2/share/extension/* /home/kingbase/20220105/share/extension/ ``` * 初始化数据库 ```plain ## 初始化数据库并修改端口 ./initdb -U system -D data; vim kingbase.conf ## 启动数据库, 使用ksql工具连接到数据库中 ./sys_ctl -D data start ./ksql -Usystem -p54321 test ``` **创建前置对象** 使用Ksql进入数据库后,需要创建GIS所需的前置对象,以确保包含GIS数据的对象迁移成功。 ```plain -- 创建操作用户 create user sde superuser; alter user sde password '123456'; create user rds_superuser superuser ; alter user rds_superuser password '123456'; -- 创建模式并修改其所有者 create schema sde; alter schema sde owner to sde; -- 创建数据库和插件 create database kingbase; create extension postgis; create extension postgis_raster; create extension postgis_sfcgal; create extension fuzzystrmatch; create extension postgis_tiger_geocoder; set exclude_reserved_words = 'level'; create extension postgis_topology; create extension address_standardizer; create extension address_standardizer_data_us; -- 测试插件是否安装成功 select oid, proname, proargtypes, proisstrict from sys_proc where proname ilike '%addgeometrycolumn%'; ## update sys_proc set proisstrict = false where oid = 上一条sql的oid update sys_proc set proisstrict = false where oid = 16705; ``` 仅源库为Oracle,且存在sde类型作为表类型时,需要创建公共函数append_srid: ```plain -- 此函数功能是将sde数据中的srid拼接到wkb(blob)中,保障数据的完整性。 CREATE OR REPLACE FUNCTION append_srid(srid IN INTEGER,kwb IN blob) RETURN blob AS re blob; srid_ integer; BEGIN IF kwb IS NULL then RETURN NULL; END IF; re := to_blob(UTL_RAW.cast_from_binary_integer(srid,utl_raw.little_endian)); dbms_lob.append(re,kwb); RETURN re; END; ``` **执行测试** ```plain ./pgsql2shp -f /home/gpadmin/kes/v9/Server/test2.shp -u system -p 54321 test "select * from test.sde.dltb2" ``` ##### 创建地理信息数据库 当前步骤旨在验证目标数据库对于GIS平台的适配度,并为GIS数据的迁移做一些前置准备。步骤如下: * 打开 ArcMap 软件,新建数据库。  * ArcMap 软件中启动 Kingbase 地理信息数据库。(此步骤不可省略) #### 迁移非GIS数据 迁移非GIS数据需要使用kdts(使用请查阅 [SHELL端工具访问及使用](https://docs.kingbase.com.cn/cn/KES-V9R4C16/application/application-develop-guide/tools/migrate/start_quickly_SHELL#start_quickly_SHELL%E7%AB%AF%E5%B7%A5%E5%85%B7%E8%AE%BF%E9%97%AE%E5%8F%8A%E4%BD%BF%E7%94%A8) ),此处以KDTS SHELL访问方法举例: **配置源端数据库** * 进入kdts-plus目录,编辑 conf/application.yml 文件,将 active 值设置为 Oracle。 ```plain active: oracle ``` * 编辑 conf/datasource-oracle.yml 文件,修改源库信息,并指定要迁移的表(POINT、LINE、POLYGONT)。 ```plain sources: - dbType: oracle dbVersion: 11g url: jdbc:oracle:thin:@ip:port/dbName driver-class-name: oracle.jdbc.oracleDriver username: SDE password: password schemas: SDE talbe-includes: POINT,LINE,POLYGONT ``` 备注 请使用 Oracle 的 SDE 用户进行迁移工作,以避免其他用户权限不足,读取 GIS 数据失败。 **配置目标端数据库** * 编辑 conf/datasource-oracle.yml 文件,修改目标库信息。 ```plain target: dbType: KINGBASE dbVersion: V9 url: jdbc:kingbase8://ip:port/dbName driver-class-name: com.kingbase8.Driver username: SDE password: password schemas: SDE ``` 备注 请使用 SDE 用户进行迁移工作,并且迁移至 SDE 模式下。(避免迁移至其他模式下注册数据信息失败)。 **配置数据类型映射文件** * 将 Oracle 的 numeric(38, 0) 类型映射为 Kingbase 的 int 类型,编辑 conf/mapping_rule/data_type/oracle_to_kingbase.json 文件,增加以下内容: ```plain { "sourceType": { "name": "NUMBER", "precisionMin": 0, "precisionMax": 38, "scaleMin": 0, "scaleMax": 0 }, "targetType": { "name": "int" } } ``` **执行迁移任务** * 迁移配置完成后,执行以下命令,运行迁移任务。 ```plain ./bin/startup.sh ``` #### 迁移GIS数据 源数据库的非GIS数据迁移至目标数据库后,可以在ArcGIS / GeoScene 平台上进行GIS数据迁移。此步骤完成,后续应用才能正常使用。GIS数据迁移步骤如下: * 迁移后,在形如 "result/2021-12-02_15_15_15/SDE/AcrpyRegisterScript/" 目录下的 acrpyRegisterWithGeodatabase.py 文件拷贝到 ArcGIS 所在的机器上,放到形如:"c:/python27/ArcGIS10.0" 目录下:  * 查看ArcMap的kingbase数据库连接信息,并拷贝。  * 编辑acrpyRegisterWithGeodatabase.py文件,将上一步复制的内容粘贴到以下位置,保存文件。  * 执行acrpyRegisterWithGeodatabase.py脚本,将源数据库的地理信息库中的数据迁移到目标数据库的ArcGIS地理信息库中。  * 执行完成后使用ArcMap软件进行验证,能否正常显示图层信息,正常显示说明GIS数据已经迁移成功(或对比GIS平台下,迁移的数据要素集在两个数据库下是否一致)。 备注 GIS平台平时运行就会在其日志里留下很多报错,这似乎是它试探所需对象在不在,然后决定下一步流程的方式,因此,在日志中看到 does not exists 的报错但目标端数据库的应用已经正常显示地理数据信息,请不要害怕。 #### 常见问题 **Q1: 执行acrpyRegisterWithGeodatabase.py脚本时报错"ERROR 001050"。**  原因分析: acrpyRegisterWithGeodatabase.py脚本内容有误。 解决方案: 请检查是否已修改arcpy.env.workspace值,是否与ArcMap的kingbase库连接信息一致。 **Q2: 执行acrpyRegisterWithGeodatabase.py脚本时报错"ERROR 001400"。**  原因分析: 将GIS数据迁移到了kingbase的非sde模式下. 解决方案: 请将非GIS数据重新迁移至sde模式下,再进行GIS数据迁移。 **Q3: 执行acrpyRegisterWithGeodatabase.py脚本时报错"ERROR 999999"。**  原因分析及解决方案: 报错"999999"原因比较复杂,一般有以下原因: * 该表未指定objectid为唯一键,可以手动修改表定义,指定objectid字段为主键或者唯一约束。 * 该表的objectid字段的数据类型非int类型。可以ksql手动修改该字段类型为int或者修改KDTS的数据类型映射文件,重新进行迁移。 * 如果是所有表均报以上错误,则可能是未启动地理信息数据库,可以通过ArcMap软件,在kingbase数据库连接上右键,点击启动地理信息数据库。 * 如果不是以上原因,可以通过ArcMap软件手动注册。 