Dataround数据集成整库同步

Dataround支持整库同步,首先选择数据源和目的地,然后选择选择需要同步的库、表,配置源表和目标表的字段匹配关系,系统支持按照字段名或者字段顺序自动匹配,支持Insert或者Upsert写入。

设置定时运行作业或者点击立即执行

下面以同步mysql tpcds测试数据到postgres数据库为例介绍Dataround整库同步方法

  1. 创建源MySQL、目的地Postgres数据库连接。依次点击:连接管理 >> 新建连接

    填写MySQL、Postgres JDBC连接信息,例如ip、port、账号、密码,JDBC额外配置参数可以在"其他参数"项按照键值对添加

  2. 创建离线作业

    依次点击:离线作业 >> 新建批处理作业

  3. 选择源表、目标表

    选择源库、目的库,左侧全选所有源表,右侧选择每一个与之匹配的目的地表

  4. 配置字段匹配关系,即是从哪一张同步到哪一张表

    Dataround系统支持按照字段名、字段顺序自动匹配。数据写入方式支持Insert、Upsert,Upsert会根据目标数据库主键匹配,如果某条已存在则更新,如果不存在则插入

  5. 配置同步策略

    添加任务名,执行方式可选择立即执行、暂不执行和周期性执行

  6. 在作业实例里查看运行状态,可以实时看到读写、写入了多少条数据,运行时长以及详细日志

    Dataround数据集成是Dataround数据平台中的集成模块,该开源项目地址: https://github.com/dataround/dataround-link
    任何问题随时联系项目作者wechat: yuehan124

相关推荐
RestCloud7 天前
如何用ETL实现多租户数据库的数据隔离与整合
数据库·数据仓库·etl·etlcloud·数据同步·数据集成平台·数据库传输
SeaTunnel7 天前
关于 Apache SeaTunnel 类加载器治理的一些观察与思考(欢迎讨论)
大数据·开源·apache·seatunnel·数据同步
RestCloud8 天前
2026年数据管道可观测性:ETL监控从被动告警到主动预警
数据仓库·数据安全·etl·数据集成·数据同步·数据监控
数据库小组8 天前
2026 年,MySQL 到 SelectDB 同步为何更关注实时、可观测与可校验?
数据库·mysql·数据库管理工具·数据同步·ninedata·selectdb·迁移工具
数据库小组9 天前
从业务库到实时分析库,NineData 构建 MySQL 到 SelectDB 同步链路
数据库·mysql·数据库管理工具·数据同步·ninedata·数据库迁移·selectdb
数据库小组9 天前
Oracle 到 PostgreSQL 迁移,2026 年如何实现平滑切换?
数据库·postgresql·oracle·数据同步·数据库迁移·oracle迁移·postgresql迁移
ApacheSeaTunnel16 天前
从 Apache SeaTunnel 走向 ASF Member:一位开发者的长期主义样本
大数据·开源·数据集成·seatunnel·数据同步
ApacheSeaTunnel21 天前
Apache SeaTunnel 2.3.13 重磅发布!最值得关注的 Top 10 功能更新
大数据·数据集成·seatunnel·数据同步·发版
RestCloud22 天前
Oracle CDC实战:如何构建企业级实时数据同步架构
数据库·oracle·etl·etlcloud·数据同步·数据集成平台
RestCloud25 天前
2026免费高性能的数据集成平台推荐
etl·数据处理·etlcloud·数据传输·数据同步·数据集成平台