DataX实现Gauss300->ADB PG(前一天数据)增量迁移

1、提前准备源Gauss300、目标 ADB PG数据库连接信息。

bash 复制代码
psql -hx.x.x.x -p25308 -Utest1 -ddb_name
xxxxxx

psql -hx.x.x.x -p3432 -Utest1 -ddb_name
xxxxxx

2、编写迁移脚本,并执行迁移。

bash 复制代码
#!/bin/bash
file_name=1.json
today_data=`date "+%Y-%m-%d 00:00:00"`
yesterday_data=`date -d "1 days ago" "+%Y-%m-%d 00:00:00"`
cat > $file_name << EOF
{
    "job": {
        "setting": {
            "speed": {
                 "channel": 2
            },
                "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "gaussdbreader",
                    "parameter": {
                        "username": "xxxxxx",
                        "password": "xxxxxx",
                        "column": [
                            '*'
                        ],
                        "connection": [
                            {
                                "querySql": [
                                    "select * from table_name where load_time >= '$yesterday_data' and load_time < '$today_data';"
                                ],
                                "jdbcUrl": [
                                        "jdbc:opengauss://x.x.x.x/db_name"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "postgresqlwriter",
                    "parameter": {
                        "username": "xxxxxx",
                        "password": "xxxxxx",
                        "column": [
                                "*"
                        ],
                        "connection": [{
                                "jdbcUrl": "jdbc:postgresql://x.x.x.x:3432/db_name",
                                 "table": [
                                 "table_name"
                                ]
                        }]
                    }
                }
        }
        ]
    }
}
EOF
nohup python /data/datax/datax/bin/datax.py /data/shell/qianyi/$file_name > /data/shell/qianyi/$file_name.log 2>&1 &
相关推荐
小Ti客栈4 天前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
DarkAthena6 天前
【GaussDB】预警复现:CLD-P-A-2026103 过滤条件等值查询与模糊查询结果不一致问题预警
gaussdb
2035去旅行7 天前
ADB的底层原理
linux·adb·嵌入式·arm·soc
kiwixing7 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
DarkAthena8 天前
【GaussDB】关于2026年11月5号直播演示的一些补充
gaussdb
小呆爱发呆9 天前
第三章 MySQL 库表操作
数据库·mysql·adb
Starry-sky(jing)11 天前
Vidda ADB 开启:R Pro 65 找不到开发者选项的处理与连接验收
android·adb·远程控制·电视·vidda
韩曙亮11 天前
【错误记录】安卓 adb 调试 5037 端口占用排查 ( adb 的三层结构 | 找出本机占用 5037 的进程 )
android·数据库·adb·安卓·错误记录
科小怪15 天前
ADB工具下载安装与常用命令:一条数据线连上电脑,就能给手机装应用、传文件、查日志
adb·智能手机·电脑
张小姐的猫17 天前
【MySQL】访问 & 数据流动原理
android·数据库·mysql·adb·1024程序员节