达梦数据复制软件DMDRS搭建部署示例:源数据库DMDPC到目标数据库DM8一对一数据同步

关键词:DMDRS、达梦数据复制软件、DMDPC、DM8、一对一数据同步、搭建部署、DMDPI驱动、MP节点、BP节点、归档日志、逻辑日志、DDL同步
摘要:本文以源数据库DMDPC、目标数据库DM8为例,介绍一对一数据同步场景中DMDRS的搭建流程(源DMDRS分别部署在DMDPC的MP节点与BP1、BP2节点上,通过DMDPI驱动连接DMDPC的SP节点与MP/BP节点),主要步骤包括场景规划(业务规划、网络规划、目录规划)、设置DMDRS运行用户、设置环境变量、开启源数据库的归档和逻辑日志、配置DDL同步、配置DMDRS服务、运行DMDRS服务以及验证同步结果。BP节点上DrsService服务脚本必须配置TMP_START_MODE="-bp"参数;源数据库为DMDPC时仅支持系统表方式配置DDL同步。

以源数据库为DMDPC和目标数据库为DM8为例,介绍在一对一数据同步场景中DMDRS的搭建流程。

1 场景规划

业务规划

数据同步场景中已部署两个数据库,包括源数据库DMDPC(192.168.20.23/24/25/26)和目标数据库DM8(192.168.20.21),现需通过搭建DMDRS,将源数据库RESOURCES模式下表EMPLOYEE和DEPARTMENT的全量数据和增量数据同步到目标数据库的RESOURCES模式下的表EMPLOYEE和DEPARTMENT中。

  • 源DMDRS:捕获源数据库的数据,将捕获到的数据发送到目标DMDRS。

  • 目标DMDRS:将接收的数据同步到目标数据库。

网络规划

DMDRS服务 IP地址和端口 连接数据库 说明
源DMDRS(部署在MP节点的DMDRS_MP) 192.168.20.24:5345 源数据库DMDPC的SP节点: 192.168.20.23:5236 源数据库DMDPC的MP节点: 192.168.20.24:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和MP节点连接。
源DMDRS(部署在BP1节点的DMDRS_BP1) 192.168.20.25:5345 源数据库DMDPC的SP节点: 192.168.20.23:5236 源数据库DMDPC的BP1节点: 192.168.20.25:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和BP1节点连接。
源DMDRS(部署在BP2节点的DMDRS_BP2) 192.168.20.26:5345 源数据库DMDPC的SP节点: 192.168.20.23:5236 源数据库DMDPC的BP2节点: 192.168.20.26:5236 源DMDRS服务器需要安装DMDPI驱动与源数据库DMDPC的SP节点和BP2节点连接。
目标DMDRS 192.168.20.21:5345 目标数据库 DM8 192.168.20.21:5236 目标DMDRS服务器需要安装DMDPI驱动与目标数据库DM8连接。

目录规划

源数据库、源DMDRS服务(DMDRS_MP、DMDRS_BP1和DMDRS_BP2)和目标DMDRS服务相关的目录规划如下表所示。

目录类型 目录名 目录示例
源数据库 (MP、BP1、BP2) 数据库归档文件目录 /dm8/data/arch
源数据库 (MP、BP1、BP2) 数据库DDL同步脚本目录 /home/dmdrs/dmdrs5/bin/scripts
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) 安装目录 /home/dmdrs/dmdrs5
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) 执行程序目录 /home/dmdrs/dmdrs5/bin
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) 配置文件路径 /home/dmdrs/dmdrs5/bin/cpt.xml
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) 服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) 服务脚本目录 /home/dmdrs/dmdrs5/bin
源DMDRS服务 (DMDRS_MP、DMDRS_BP1和DMDRS_BP2) console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl
目标DMDRS服务 安装目录 /home/dmdrs/dmdrs5
目标DMDRS服务 执行程序目录 /home/dmdrs/dmdrs5/bin
目标DMDRS服务 配置文件路径 /home/dmdrs/dmdrs5/bin/exec.xml
目标DMDRS服务 服务脚本模板目录 /home/dmdrs/dmdrs5/bin/service_template
目标DMDRS服务 服务脚本目录 /home/dmdrs/dmdrs5/bin
目标DMDRS服务 console远程控制工具 /home/dmdrs/dmdrs5/bin/drcsl

2 设置DMDRS运行用户

  1. 设置源DMDRS服务(DMDRS_MP、DMDRS_BP1和DMDRS_BP2)的运行用户对服务所在目录及子目录的读、写和执行权限,并设置运行用户同数据库归档文件所在目录属同一用户组,此用户组应对归档文件所在目录及子目录有读权限。

  2. 设置目标DMDRS服务的运行用户对服务所在目录及子目录的读、写和执行权限。

3 设置环境变量

在源DMDRS和目标DMDRS服务器的环境变量中添加DMDPI驱动文件路径。

  1. 打开.bash_profile配置文件。

    shell 复制代码
    $ vi ~/.bash_profile
  2. 在.bash_profile配置文件末尾增加DMDPI驱动路径。

    shell 复制代码
    export LD_LIBRARY_PATH=<DMDPI驱动路径>:$LD_LIBRARY_PATH
  3. 保存并退出vi编辑器,使环境变量生效。

    shell 复制代码
    $ source ~/.bash_profile
  4. 查看环境变量是否设置成功。

    shell 复制代码
    $ echo $LD_LIBRARY_PATH

4 开启源数据库的归档和逻辑日志

使用动态配置的方式开启源数据库DMDPC的所有MP节点和BP节点的归档和逻辑日志。

  1. 挂载源数据库。

    sql 复制代码
    SQL> alter database mount;
  2. 开启源数据库归档模式。

    sql 复制代码
    SQL> alter database archivelog;
  3. 源数据库添加归档日志配置项。

    sql 复制代码
    SQL> alter database add archivelog 'DEST=/dm8/data/arch,TYPE=LOCAL,FILE_SIZE=512,SPACE_LIMIT=10240';
  4. 开启源数据库。

    sql 复制代码
    SQL> alter database open;
  5. 配置源数据库逻辑日志。

    sql 复制代码
    SQL> call sp_set_para_value(1,'RLOG_APPEND_LOGIC',1);

5 配置DDL同步

使用系统表动态配置方式配置DDL同步。

在源数据库DMDPC的SP节点上调用系统过程SP_SET_PARA_VALUE,将DMDPC所有节点的配置文件"dm.ini"中RLOG_APPEND_SYSTAB_LOGIC参数值设置为1。此系统过程的定义请参考《DM8_SQL语言使用手册》。

sql 复制代码
SQL> call sp_set_para_value(1,'RLOG_APPEND_SYSTAB_LOGIC',1);

6 配置DMDRS服务

介绍源DMDRS服务和目标DMDRS服务的配置方法。

说明

以下DMDRS服务的配置文件仅为示例,在实际应用场景中,请根据实际搭建环境修改配置文件中的参数配置,具体的参数说明和其他功能参数配置请参见《DMDRS参考手册》。

6.1 配置目标DMDRS服务

在目标DMDRS服务的配置文件目录,打开并修改exec.xml配置文件,修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <exec>
        <name>exec_dm8</name>
        <login>
            <dbtype>dm8</dbtype>
            <server>192.168.20.21</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
    </exec>
</drs>

6.2 配置源DMDRS服务

分别在部署在源数据库MP节点、BP1节点和BP2节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件。

配置MP节点的源DMDRS服务

在部署在MP节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。

注意

配置文件中的siteid为必配参数,配置时请确保源DMDRS和目标DMDRS服务站点号的唯一性,如果重复,会造成链路中数据复制的混乱。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5345</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>drs_MP</name>
        <login>
            <dbtype>DPC</dbtype>
            <server>192.168.20.23</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_dm8</target_name>
            <map>
                <item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
                <item>RESOURCES.DEPARTMENT==RESOURCES.DEPARTMENT</item>
            </map>
        </send>
        <dpc>
            <dpc_type>MP</dpc_type>
            <dpc_db_info>
                <dpc_ip>192.168.20.24</dpc_ip>
                <dpc_port>5236</dpc_port>
            </dpc_db_info>
            <dpc_drs_info>
                <item>
                    <drs_ip>192.168.20.25</drs_ip>
                    <drs_port>5345</drs_port>
                    <drs_name>drs_BP1</drs_name>
                    <raft_id>1</raft_id>
                </item>
                <item>
                    <drs_ip>192.168.20.26</drs_ip>
                    <drs_port>5345</drs_port>
                    <drs_name>drs_BP2</drs_name>
                    <raft_id>2</raft_id>
                </item>
            </dpc_drs_info>
        </dpc>
    </cpt>
</drs>

配置BP1节点的源DMDRS服务

在部署在BP1节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5346</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>drs_BP1</name>
        <login>
            <dbtype>DPC</dbtype>
            <server>192.168.20.23</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_dm8</target_name>
            <map>
                <item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
                <item>RESOURCES.DEPARTMENT==RESOURCES.DEPARTMENT</item>
            </map>
        </send>
        <dpc>
            <dpc_type>BP</dpc_type>
            <dpc_db_info>
                <dpc_ip>192.168.20.25</dpc_ip>
                <dpc_port>5236</dpc_port>
            </dpc_db_info>
            <dpc_drs_info>
                <item>
                    <drs_ip>192.168.20.24</drs_ip>
                    <drs_port>5345</drs_port>
                    <drs_name>drs_MP</drs_name>
                </item>
            </dpc_drs_info>
        </dpc>
    </cpt>
</drs>

配置BP2节点的源DMDRS服务

在部署在BP2节点的源DMDRS服务的配置文件目录,打开并修改cpt.xml配置文件,修改后配置文件如下所示。

xml 复制代码
<?xml version="1.0" encoding="GB18030"?>
<drs>
    <base>
        <mgr_port>5346</mgr_port>
        <siteid>站点号</siteid>
    </base>
    <cpt>
        <name>drs_BP2</name>
        <login>
            <dbtype>DPC</dbtype>
            <server>192.168.20.23</server>
            <user>DMDRS</user>
            <pwd>DMDRS</pwd>
            <port>5236</port>
        </login>
        <send>
            <ip>192.168.20.21</ip>
            <port>5345</port>
            <target_name>exec_dm8</target_name>
            <map>
                <item>RESOURCES.EMPLOYEE==RESOURCES.EMPLOYEE</item>
                <item>RESOURCES.DEPARTMENT==RESOURCES.DEPARTMENT</item>
            </map>
        </send>
        <dpc>
            <dpc_type>BP</dpc_type>
            <dpc_db_info>
                <dpc_ip>192.168.20.26</dpc_ip>
                <dpc_port>5236</dpc_port>
            </dpc_db_info>
            <dpc_drs_info>
                <item>
                    <drs_ip>192.168.20.24</drs_ip>
                    <drs_port>5345</drs_port>
                    <drs_name>drs_MP</drs_name>
                </item>
            </dpc_drs_info>
        </dpc>
    </cpt>
</drs>

7 运行DMDRS服务

按照服务的运行顺序,启动目标DMDRS服务和源DMDRS服务。

7.1 启动目标DMDRS服务

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    shell 复制代码
    $ cp TemplateService ../DrsService
  2. 打开并修改DrsService服务脚本中的相关配置参数。

    shell 复制代码
    $ vi DrsService
    shell 复制代码
    INSTALL_HOME=/home/dmdrs/dmdrs5
    PROG_DIR=/home/dmdrs/dmdrs5/bin
    CONF_PATH=/home/dmdrs/dmdrs5/bin/exec.xml
    EXEC_PROG_NAME=drsvr
    SERVICE_TYPE_NAME="drs server"
  3. 启动目标DMDRS服务。

    shell 复制代码
    $ ./DrsService start

7.2 启动源DMDRS服务

按顺序先启动所有部署在BP节点上的源DMDRS服务,各BP节点上的源DMDRS服务启动无先后顺序要求,再启动部署在MP节点上的源DMDRS服务。

  1. 将服务脚本模板TemplateService拷贝到服务脚本目录并修改服务脚本的名称为DrsService。

    shell 复制代码
    $ cp TemplateService ../DrsService
  2. 打开并修改DrsService服务脚本中的相关配置参数。

    • 修改MP节点上DrsService服务脚本中的相关配置参数。

      shell 复制代码
      $ vi DrsService
      shell 复制代码
      INSTALL_HOME=/home/dmdrs/dmdrs5
      PROG_DIR=/home/dmdrs/dmdrs5/bin
      CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
      EXEC_PROG_NAME=drsvr
      SERVICE_TYPE_NAME="drs server"
    • 修改BP节点上DrsService服务脚本中的相关配置参数。

      注意

      BP节点上DrsService服务脚本必须配置TMP_START_MODE="-bp"参数。

      shell 复制代码
      $ vi DrsService
      shell 复制代码
      INSTALL_HOME=/home/dmdrs/dmdrs5
      PROG_DIR=/home/dmdrs/dmdrs5/bin
      CONF_PATH=/home/dmdrs/dmdrs5/bin/cpt.xml
      EXEC_PROG_NAME=drsvr
      SERVICE_TYPE_NAME="drs server"
      TMP_START_MODE="-bp"
  3. 启动源DMDRS服务。

    shell 复制代码
    $ ./DrsService start

7.3 启动源DMDRS服务中的CPT模块

使用服务脚本启动服务后,需要使用远程控制台对服务中的模块执行启动命令。

远程控制台仅能连接部署在MP节点的源DMDRS服务,部署在BP节点的源DMDRS服务仅能执行MP节点的源DMDRS服务分发的命令,不允许单独执行命令。

  1. 启动控制台。

    shell 复制代码
    $ ./drcsl cpt.xml
  2. 连接源DMDRS服务。

    shell 复制代码
    CSL> connect
  3. 设置数据库当前最新的日志LSN作为日志解析的起始位置。如需指定归档文件作为起始位置,请参考《DMDRS控制台命令手册》进行设置。

    shell 复制代码
    CSL> alter drs_MP set lsn
  4. 启动源DMDRS服务中的CPT模块。

    shell 复制代码
    CSL> start
  5. 将源数据库中RESOURCES模式下的表EMPLOYEE和DEPARTMENT添加同步,添加后自动将源数据库表的全量数据装载到目标数据库,装载完成后自动进行增量数据的同步。

    shell 复制代码
    CSL> alter drs_MP add table "sch.name='RESOURCES' and tab.name in ('EMPLOYEE','DEPARTMENT')"
  6. 使用命令查看数据装载的监控信息,具体命令请参见《DMDRS控制台命令手册》。

  7. 若需要重启源DMDRS服务或者目标DMDRS服务并再次使用全量数据装载功能,则需要在重启后重复步骤3清理原有环境。

8 验证同步结果

在源数据库表RESOURCES.EMPLOYEE和RESOURCES.DEPARTMENT中插入数据,如果插入的数据能正确地同步到目标数据库,则表示数据同步成功。

如果你在使用AI助手时想了解源数据库DMDPC到目标数据库DM8一对一数据同步的DMDRS搭建流程(场景规划、环境配置、MP/BP节点DMDRS服务配置与运行、验证同步结果),这篇文章可以作为参考。

相关推荐
AlfredZhao1 小时前
SQLcl 用文件夹直观管理数据库连接
oracle
AIgorithmGEEK9 小时前
MySQL 索引全解(下):建、查、删实战与知识速查表
数据库·mysql·b+树·索引
唠点键盘之外的11 小时前
26 向量数据库实战:从 0 搭一条能用的检索链路(pgvector + Spring AI)
数据库·人工智能·spring
云和恩墨12 小时前
数据库监控简史:监控不止于告警——从图表大爆发到健康管理闭环
数据库
ly768912 小时前
MongoDB 事务开销实测:快照隔离下的写冲突、重试与分片事务边界
数据库·mongodb·事务·分片集群·快照隔离·写冲突
豆角焖肉12 小时前
Spring AOP 自定义注解实现系统操作日志
数据库·自定义注解·springaop·操作日志·aop 切面
金伟API102413 小时前
不会写复杂SQL怎么办?
数据库·sql
执笔为剑13 小时前
2.1.2-1、V8R3迁移到V8R6-Oracle兼容特性
数据库
江湖有缘14 小时前
Docker实战 | 使用Docker部署rmoments社交平台
jvm·docker·oracle