AllData数据中台-数据同步平台集成开源项目Seatunnel-Web,完成Mysql到Doris同步流程

摘要:介绍数据同步平台(Seatunnel-Web):MySQL 同步至 Dori 的部署安装流程、添加数据源的具体操作、创建同步任务的步骤以及运行任务的方法。AllData数据中台-数据同步平台集成开源项目Seatunnel-Web,完成Mysql到Doris同步流程。

AIIData数据中台-数据同步平台(SeaTunnel-Web)用户无需编写复杂代码即可快速配置数据同步任务,支持字段映射、转换规则设置及调度策略定义,满足离线全量、增量及实时同步等多种场景需求。

通过集中化的数据源管理模块,用户可统一管理所有连接配置,实时验证连通状态,大幅提升运维效率。

一. 环境准备

1.SeatunnelServer

安装包下载链接:https://archive.apache.org/dist/seatunnel/2.3.8/

2. 下载完成后解压到服务器

3. 配置环境变量

4. 添加以下信息

5. 使配置生效

6. 进入 SEATUNNEL_HOME 目录

7. 下载连接器,执行以下命令

8. 下载完成,查看连接器

  1. 获取 mysql jdbc 连接驱动,并上传${SEATUNNEL_HOME}/plugins 目录下

・下载链接: (如需要网盘链接,联系市场总监获取)

二. 打开数据同步平台


三. 添加数据源

1. MySQL

・点击创建

・选择JDBC-Mysql传统数据库

・编辑连接信息,点击测试连接

・点击确认

2. Doris

・点击创建

・选择Doris 传统数据库

・编辑连接信息,点击测试连接

・点击确定

四. 创建同步任务

1. 创建任务

・打开同步任务页面

・创建同步任务

・编辑任务名称,选择业务模型,点击确认

2. 创建Source

・拖拽数据源 Source 到中心工作区,并双击

・编辑 Source 信息

・查看数据模型

・点击确定

3. 创建Sink

・拖拽数据源 Sink 到中心工作区,并将 Source 连 接到 Sink,注意,要从 Source 开始,Sink 结束

・双击 Sink,编辑连接信息,点击确定

4. 配置任务信息

・打开任务设置

・选择工作模式,下滑到下方位置,点击确定

・点击保存

五. 运行任务

・ 点击运行

・查看任务运行状态

・ 同步完成

六. 数据验证

・应同步数据

・同步数据前

优势总结

高性能:分布式架构支持海量数据同步,每日可稳定处理数百亿条记录;

灵活性:兼容离线、实时、全量、增量等多种场景,满足复杂业务需求;

易用性:提供Web界面和可视化配置,降低操作门槛,支持快速部署和运维。

相关推荐
系统集成-鹰翔5 分钟前
ERP推单数据库怎么备份:SQLite WAL模式下只复制db文件为什么可能漏任务
javascript·数据库·经验分享·后端
QianhangQianping6 分钟前
撤销重做不是「存快照」:一个可视化编辑器的Operation 设计
java·前端·数据库·typescript·编辑器·前端架构·撤销重做
honsor7 分钟前
用 Grafana 做温湿度异常检测:从阈值告警到趋势预测
数据库·mysql·php
七牛云行业应用12 分钟前
爆火OpenFilm 0.2.6:开源 AI 视频 Agent 的安装、编辑与渲染流程(2026 年 10 月 )
人工智能·开源·音视频
开源推荐官19 分钟前
多门店 O2O 商城选型复盘:从开发视角对比主流开源系统
java·架构·开源·php
赵渝强老师20 分钟前
【赵渝强老师】YashanDB Developer Center(YDC,崖山数据库开发者中心)
数据库·国产数据库·yashandb·崖山数据库
lusklusklusk22 分钟前
SQL Server 为什么普通 SELECT 会阻塞 UPDATE?——行级 S 锁到表级 S 锁的锁升级原理与实验验证
数据库·mysql·oracle
Leo.yuan30 分钟前
企业业务人员如何独立完成数据分析?2026年自助BI工具选型与应用指南
大数据·数据库·人工智能
roman_日积跬步-终至千里31 分钟前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模
瀚高PG实验室34 分钟前
瀚高数据库创建新数据库卡住问题排查
数据库·postgresql·瀚高数据库