Dataround数据集成整库同步

Dataround支持整库同步,首先选择数据源和目的地,然后选择选择需要同步的库、表,配置源表和目标表的字段匹配关系,系统支持按照字段名或者字段顺序自动匹配,支持Insert或者Upsert写入。

设置定时运行作业或者点击立即执行

下面以同步mysql tpcds测试数据到postgres数据库为例介绍Dataround整库同步方法

  1. 创建源MySQL、目的地Postgres数据库连接。依次点击:连接管理 >> 新建连接

    填写MySQL、Postgres JDBC连接信息,例如ip、port、账号、密码,JDBC额外配置参数可以在"其他参数"项按照键值对添加

  2. 创建离线作业

    依次点击:离线作业 >> 新建批处理作业

  3. 选择源表、目标表

    选择源库、目的库,左侧全选所有源表,右侧选择每一个与之匹配的目的地表

  4. 配置字段匹配关系,即是从哪一张同步到哪一张表

    Dataround系统支持按照字段名、字段顺序自动匹配。数据写入方式支持Insert、Upsert,Upsert会根据目标数据库主键匹配,如果某条已存在则更新,如果不存在则插入

  5. 配置同步策略

    添加任务名,执行方式可选择立即执行、暂不执行和周期性执行

  6. 在作业实例里查看运行状态,可以实时看到读写、写入了多少条数据,运行时长以及详细日志

    Dataround数据集成是Dataround数据平台中的集成模块,该开源项目地址: https://github.com/dataround/dataround-link
    任何问题随时联系项目作者wechat: yuehan124

相关推荐
ApacheSeaTunnel15 小时前
Apache SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?
大数据·ai·开源·大模型·数据集成·cli·seatunnel·技术分享·数据同步
胡耀超3 天前
从一次批量爬取到生产同步:问题变了,建设边界也要跟着变
爬虫·python·系统架构·数据治理·数据同步·接口设计·爬虫工程
ApacheSeaTunnel7 天前
一套替代四套!同程旅行用 Apache SeaTunnel 搭建多模态统一数据通道
大数据·数据库·ai·开源·数据集成·seatunnel·技术分享·数据同步
RestCloud12 天前
2026数据集成工具最新选型建议:ETL/ELT怎么选,都应该带有什么功能
数据仓库·etl·etlcloud·数据传输·数据同步·数据集成工具·elt
ApacheSeaTunnel12 天前
为什么 Data Ingestion 还没有被 Fivetran/Airbyte 完全解决?
大数据·开源·数据集成·seatunnel·技术分享·数据同步·airbyte·fivetran
ApacheSeaTunnel22 天前
当多表数据涌入,Apache SeaTunnel 如何巧妙化解主键冲突?
大数据·开源·数据集成·seatunnel·技术分享·数据同步
ApacheSeaTunnel1 个月前
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
南部余额1 个月前
Canal解决MySQL与Redis数据一致性问题
数据库·redis·mysql·canal·数据·数据同步
程序员老邢1 个月前
《技术底稿 47》知识库同步管道迭代与文件上传异步化落地
数据同步·后端开发·异步处理·事务优化·技术底稿·系统迭代
程序员老邢1 个月前
《技术底稿 46》AI 解构成果→知识库自动化同步管道 设计与落地总结
架构设计·异步任务·数据同步·后端开发·幂等性·技术底稿