达梦数据复制软件DMDRS搭建部署示例:源数据库DM8到目标数据库DM8双向数据同步

关键词:DMDRS、达梦数据复制软件、DM8、双向数据同步、搭建部署、DMDPI驱动、归档日志、逻辑日志、DDL同步
摘要:本文以源数据库DM8与目标数据库DM8之间的双向数据同步为例,介绍双向同步场景中DMDRS的搭建流程,主要步骤包括场景规划(业务规划、网络规划、目录规划)、设置DMDRS运行用户、设置环境变量、开启数据库的归档和逻辑日志、配置DDL同步、创建数据库同步用户和配置用户权限、配置DMDRS服务(分别配置双向DMDRS A与双向DMDRS B)、运行DMDRS服务(启动双向DMDRS A、双向DMDRS B服务及其中的CPT模块)以及验证同步结果。在双向同步场景中,仅需在数据源所在数据库上的DMDRS服务执行添加同步表命令;须确保双向DMDRS A、B服务站点号唯一。

以源数据库和目标数据库都为DM8为例,介绍在双向数据同步场景中DMDRS的搭建流程。

1 场景规划

业务规划

双向数据同步场景中已部署两个数据库,包括数据库A DM8(192.168.20.24)和数据库B DM8(192.168.20.21),现需通过搭建DMDRS,将数据库A RESOURCES模式下表EMPLOYEE的全量数据和增量数据同步到数据库B的RESOURCES模式,同时也需要将数据库B RESOURCES模式下表EMPLOYEE的增量数据同步到数据库A RESOURCES模式下的表EMPLOYEE中,使数据库A和数据库B中两个表EMPLOYEE的数据保持一致。

  • 双向DMDRS A:捕获数据库A的数据并发送到双向DMDRS B,同时将双向DMDRS B发送来的数据复制到数据库A。

  • 双向DMDRS B:捕获数据库B的数据并发送到双向DMDRS A,同时将双向DMDRS A发送来的数据复制到数据库B。

网络规划

DMDRS服务 IP地址和端口 连接数据库 说明
双向DMDRS A 192.168.20.24:5345 数据库A DM8 192.168.20.24:5236 双向DMDRS A服务器需要安装DMDPI驱动与数据库A连接。
双向DMDRS B 192.168.20.21:5345 数据库B DM8 192.168.20.21:5236 双向DMDRS B服务器需要安装DMDPI驱动与数据库B连接。

目录规划

数据库、双向DMDRS A服务和双向DMDRS B服务相关的目录规划如下表所示。

目录类型 目录名 目录示例
数据库A 数据库B 数据库归档文件目录 /dm8/data/arch
数据库A 数据库B 数据库DDL同步脚本目录 /home/dmdrs/dmdrs5/bin/scripts
双向DMDRS A 安装目录 /home/dmdrs/dmdrs5
双向DMDRS A 执行程序目录 /home/dmdrs/dmdrs5/bin
双向DMDRS A 配置文件路径 /home/dmdrs/dmdrs5/bin/drs.xml
双向DMDRS A 服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
双向DMDRS A 服务脚本目录 /home/dmdrs/dmdrs5/bin
双向DMDRS A console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl
双向DMDRS B 安装目录 /home/dmdrs/dmdrs5
双向DMDRS B 执行程序目录 /home/dmdrs/dmdrs5/bin
双向DMDRS B 配置文件路径 /home/dmdrs/dmdrs5/bin/drs.xml
双向DMDRS B 服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
双向DMDRS B 服务脚本目录 /home/dmdrs/dmdrs5/bin
双向DMDRS B console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl

2 设置DMDRS运行用户

设置双向DMDRS A服务和双向DMDRS B服务的运行用户对各自服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。

3 设置环境变量

在双向DMDRS A和双向DMDRS B的服务器的环境变量中添加DMDPI驱动文件路径。

  1. 打开.bash_profile配置文件。

    shell 复制代码
    $ vi ~/.bash_profile
  2. 在.bash_profile配置文件末尾增加DMDPI驱动路径。

    shell 复制代码
    export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
  3. 保存并退出vi编辑器,使环境变量生效。

    shell 复制代码
    $ source ~/.bash_profile
  4. 查看环境变量是否设置成功。

    shell 复制代码
    $ echo $LD_LIBRARY_PATH

4 开启数据库的归档和逻辑日志

使用动态配置的方式开启数据库A和数据库B的归档和逻辑日志。

  1. 挂载源数据库。

    sql 复制代码
    SQL> alter database mount;
  2. 开启源数据库归档模式。

    sql 复制代码
    SQL> alter database archivelog;
  3. 源数据库添加归档日志配置项。

    sql 复制代码
    SQL> alter database add archivelog 'DEST=/dm8/data/arch,TYPE=LOCAL,FILE_SIZE=512,SPACE_LIMIT=10240';
  4. 开启源数据库。

    sql 复制代码
    SQL> alter database open;
  5. 配置源数据库逻辑日志。

    sql 复制代码
    SQL> call sp_set_para_value(1,'RLOG_APPEND_LOGIC',1);

5 配置DDL同步

使用系统表动态配置方式配置数据库A和数据库B的DDL同步。

调用系统过程SP_SET_PARA_VALUE将数据库A和数据库B配置文件"dm.ini"中RLOG_APPEND_SYSTAB_LOGIC参数值设置为1。此系统过程的定义请参考《DM8_SQL语言使用手册》。

sql 复制代码
SQL> call sp_set_para_value(1,'RLOG_APPEND_SYSTAB_LOGIC',1);

6 创建数据库同步用户和配置用户权限

创建源数据库和目标数据库的同步用户,并为数据库同步用户配置最小权限。

7 配置DMDRS服务

介绍双向DMDRS A服务和双向DMDRS B服务的配置方法。

说明

  • 以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。
  • 在双向同步场景中,如果需要同步序列值,cpt标签下还需要将filter_seq_userid参数配置为当前数据库上DMDRS服务的EXEC模块的登录用户的用户ID,exec标签下需要将seq_sync_mode参数配置为1。

7.1 配置双向DMDRS A

在双向DMDRS A服务的配置文件目录,新建drs.xml配置文件,配置文件示例如下所示。

注意

配置文件中的siteid为必配参数,配置时请确保双向DMDRS A和双向DMDRS B服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。如果配置时将双向DMDRS服务拆分为2个DMDRS服务,拆分后的CPT和EXEC模块对应服务的站点号需保持一致。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_dm8_A</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.24</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_dm8_B</target_name>
            <map>
                <item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
            </map>
        </send>
    </cpt>
    <exec>
        <name>exec_dm8_A</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.24</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
    </exec>
</drs>

7.2 配置双向DMDRS B

在双向DMDRS B服务的配置文件目录,新建drs.xml配置文件,配置文件示例如下所示。

注意

配置文件中的siteid为必配参数,配置时请确保双向DMDRS A和双向DMDRS B服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。如果配置时将双向DMDRS服务拆分为2个DMDRS服务,拆分后的CPT和EXEC模块对应服务的站点号需保持一致。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>cpt_dm8_B</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.21</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.24</ip>
            <port>5345</port>
            <target_name>exec_dm8_A</target_name>
            <map>
                <item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
            </map>
        </send>
    </cpt>
    <exec>
        <name>exec_dm8_B</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.21</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
    </exec>
</drs>

8 运行DMDRS服务

运行双向DMDRS A服务和双向DMDRS B服务。

8.1 启动双向DMDRS A服务和双向DMDRS B服务

启动双向DMDRS A服务和双向DMDRS B服务的方法一样,如下以启动双向DMDRS A服务为例说明。

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    shell 复制代码
    $ cp TemplateService ../DrsService
  2. 打开并修改DrsService服务脚本中的相关配置参数。

    shell 复制代码
    $ vi DrsService
    shell 复制代码
    INSTALL_HOME=/home/dmdrs/dmdrs5
    PROG_DIR=/home/dmdrs/dmdrs5/bin
    CONF_PATH=/home/dmdrs/dmdrs5/bin/drs.xml
    EXEC_PROG_NAME=drsvr
    SERVICE_TYPE_NAME="drs server"
  3. 启动双向DMDRS A服务。

    shell 复制代码
    $ ./DrsService start

8.2 启动双向DMDRS A服务和双向DMDRS B中的CPT模块

使用服务脚本启动服务后,需要使用远程控制台对服务中的模块执行启动命令。

  1. 在双向DMDRS A服务启动控制台。

    shell 复制代码
    $ ./drcsl drs.xml
  2. 连接双向DMDRS A服务。

    shell 复制代码
    CSL> connect
  3. 设置数据库A当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。

    shell 复制代码
    CSL> alter cpt_dm8_A set lsn
  4. 启动双向DMDRS A服务中的CPT模块。

    shell 复制代码
    CSL> start cpt_dm8_A
  5. 在双向DMDRS B服务启动控制台。

    shell 复制代码
    $ ./drcsl drs.xml
  6. 连接双向DMDRS B服务。

    shell 复制代码
    CSL> connect
  7. 设置数据库B当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。

    shell 复制代码
    CSL> alter cpt_dm8_B set lsn
  8. 启动双向DMDRS B服务中的CPT模块。

    shell 复制代码
    CSL> start cpt_dm8_B
  9. 将数据库A中RESOURCES模式下的表EMPLOYEE添加同步。

    shell 复制代码
    CSL> alter cpt_dm8_A add table "sch.name='RESOURCES' and tab.name='EMPLOYEE'"

    说明

    在双向同步场景中,仅需要在数据源所在的数据库上的DMDRS服务执行添加同步表的命令。

  10. 使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。

9 验证同步结果

分别在数据库A和数据库B中表RESOURCES.EMPLOYEE中插入数据,如果插入的数据能正确地同步到数据库B和数据库A,则表示数据双向同步成功。

如果你在使用AI助手时想了解DM8到DM8双向数据同步的DMDRS搭建流程(场景规划、环境配置、双向DMDRS A/B服务配置与运行、添加同步表、验证同步结果),这篇文章可以作为参考。

相关推荐
A-刘晨阳1 小时前
32 位 XID 的“狗皮膏药”被撕掉了:金仓 V9 的 64 位事务号实测与底层拆解
数据库
cspttty1 小时前
2026秋招数据审计岗能力栈:SQL、Excel、审计流程与数据治理
大数据·数据库
MayBaymax1 小时前
MongoDB 基础概念
java·数据库·mongodb
2601_962218611 小时前
万象生鲜系统多终端统一数据协议PC手机PDA数据实时同步
大数据·数据库·人工智能·python·算法
我滴老baby1 小时前
部署 Excalidraw:Docker 搭建手绘白板,再配置固定公网访问
数据库·人工智能·架构
程序猿乐锅2 小时前
【黑马点评 | 第四篇】Redis缓存雪崩
java·数据库·spring boot·redis·缓存
Sun 32852 小时前
集中式主备中,CM、OM 和 DN 是怎样协作的?
数据库·opengauss·cm·磐维数据库·集中式·om·dn
其实防守也摸鱼3 小时前
堆叠注入(Stacked Injection)详解
服务器·数据库·windows·https·ssl