DataX实现Gauss300->ADB PG(前一天数据)增量迁移

1、提前准备源Gauss300、目标 ADB PG数据库连接信息。

bash 复制代码
psql -hx.x.x.x -p25308 -Utest1 -ddb_name
xxxxxx

psql -hx.x.x.x -p3432 -Utest1 -ddb_name
xxxxxx

2、编写迁移脚本,并执行迁移。

bash 复制代码
#!/bin/bash
file_name=1.json
today_data=`date "+%Y-%m-%d 00:00:00"`
yesterday_data=`date -d "1 days ago" "+%Y-%m-%d 00:00:00"`
cat > $file_name << EOF
{
    "job": {
        "setting": {
            "speed": {
                 "channel": 2
            },
                "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "gaussdbreader",
                    "parameter": {
                        "username": "xxxxxx",
                        "password": "xxxxxx",
                        "column": [
                            '*'
                        ],
                        "connection": [
                            {
                                "querySql": [
                                    "select * from table_name where load_time >= '$yesterday_data' and load_time < '$today_data';"
                                ],
                                "jdbcUrl": [
                                        "jdbc:opengauss://x.x.x.x/db_name"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "postgresqlwriter",
                    "parameter": {
                        "username": "xxxxxx",
                        "password": "xxxxxx",
                        "column": [
                                "*"
                        ],
                        "connection": [{
                                "jdbcUrl": "jdbc:postgresql://x.x.x.x:3432/db_name",
                                 "table": [
                                 "table_name"
                                ]
                        }]
                    }
                }
        }
        ]
    }
}
EOF
nohup python /data/datax/datax/bin/datax.py /data/shell/qianyi/$file_name > /data/shell/qianyi/$file_name.log 2>&1 &
相关推荐
练小杰2 天前
【Mysql-installer-community-8.0.26.0】Mysql 社区版(8.0.26.0) 在Window 系统的默认安装配置
数据库·sql·mysql·adb·配置文件·mysql安装·关系型数据库
袁美丽..2 天前
Android studio的adb和终端的adb互相抢占端口
android·adb·android studio
fatiaozhang95273 天前
浪潮CD1000-移动云电脑-RK3528芯片-2+32G-安卓9-2种开启ADB ROOT刷机教程方法
android·网络·adb·电脑·电视盒子·刷机固件·机顶盒刷机
黎宇幻生3 天前
Java全栈学习笔记30
android·adb
今人不见古时月,今月曾经照古人4 天前
将 Android 设备的所有系统日志(包括内核日志、系统服务日志等)完整拷贝到 Windows 本地
windows·adb
zhangphil4 天前
Android adb shell命令分析应用内存占用
android·adb
华农第一蒟蒻5 天前
Elasticsearch赋能3D打印机任务统计分析
java·大数据·spring boot·后端·elasticsearch·adb·maven
一个CCD5 天前
MySQL主从复制之进阶延时同步、GTID复制、半同步复制完整实验流程
android·mysql·adb
独行soc7 天前
2025年渗透测试面试题总结-42(题目+回答)
android·数据库·安全·adb·面试·渗透测试·sqlite
高级测试工程师欧阳7 天前
Mac上如何安装mysql
mysql·adb