Dataround数据集成整库同步

Dataround支持整库同步,首先选择数据源和目的地,然后选择选择需要同步的库、表,配置源表和目标表的字段匹配关系,系统支持按照字段名或者字段顺序自动匹配,支持Insert或者Upsert写入。

设置定时运行作业或者点击立即执行

下面以同步mysql tpcds测试数据到postgres数据库为例介绍Dataround整库同步方法

  1. 创建源MySQL、目的地Postgres数据库连接。依次点击:连接管理 >> 新建连接

    填写MySQL、Postgres JDBC连接信息,例如ip、port、账号、密码,JDBC额外配置参数可以在"其他参数"项按照键值对添加

  2. 创建离线作业

    依次点击:离线作业 >> 新建批处理作业

  3. 选择源表、目标表

    选择源库、目的库,左侧全选所有源表,右侧选择每一个与之匹配的目的地表

  4. 配置字段匹配关系,即是从哪一张同步到哪一张表

    Dataround系统支持按照字段名、字段顺序自动匹配。数据写入方式支持Insert、Upsert,Upsert会根据目标数据库主键匹配,如果某条已存在则更新,如果不存在则插入

  5. 配置同步策略

    添加任务名,执行方式可选择立即执行、暂不执行和周期性执行

  6. 在作业实例里查看运行状态,可以实时看到读写、写入了多少条数据,运行时长以及详细日志

    Dataround数据集成是Dataround数据平台中的集成模块,该开源项目地址: https://github.com/dataround/dataround-link
    任何问题随时联系项目作者wechat: yuehan124

相关推荐
岁岁种桃花儿11 小时前
Flink从入门到上天系列第一篇:搭建第一个Flink程序
大数据·linux·flink·数据同步
ApacheSeaTunnel5 天前
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透
大数据·flink·spark·开源·数据集成·seatunnel·数据同步
AllData公司负责人6 天前
【亲测好用】实时开发IDE平台能力演示 原创
大数据·ide·开源·数据同步
ha_lydms8 天前
DataWorks离线同步 OSS文件
大数据·阿里云·oss·dataworks·maxcompute·数据同步·离线计算
ApacheSeaTunnel12 天前
保姆级 SeaTunnel 入门!再学不会小编当场表演倒立敲代码
大数据·数据集成·seatunnel·技术分享·数据同步
刘大猫.17 天前
XNMS项目-mysql数据库同步
数据库·统计·同步·数据同步·数据统计·数据库同步·业务统计
千桐科技17 天前
qData 数据中台开源版 v1.1.1 发布:动态游标同步技术上线,SQL Server 2008 全面支持
开源软件·sql server·工程化·数据同步·数据中台·qdata·动态游标
ApacheSeaTunnel18 天前
告别手敲 Schema!SeaTunnel 集成 Gravitino 元数据 RestApi 这个新动作有点酷
大数据·ai·seatunnel·技术分享·数据同步·gravitino
保定公民1 个月前
DMDRS数据库同步用户最小权限脚本示例
数据库·sql·达梦数据库·数据同步·dmdrs·同步权限
保定公民1 个月前
达梦DMDRS数据库同步用户最小权限
数据库·达梦·达梦数据库·数据同步·dm·dmdrs