AllData数据中台通过集成DolphinScheduler+Seatunnel实现SAP HANA数据库同步到Doris数据仓库

【AllData数据中台】集成开源项目 DolphinScheduler+Seatunnel，构建了可视化、高可靠的离线开发平台。

本文将完整演示 SAP HANA 数据同步到 Doris 的全流程操作，从环境准备、数据源配置、任务流程编排，到任务执行调度、最终结果校验，全程采用简洁、可视化的配置方式，带你快速完成跨数据源数据同步。

共包含以下国内外开源组件：

（1）此次同步的数据源是 SAP HANA 内存关系型数据库 SAP HANA 是一款高性能、列式存储的内存关系型数据库管理系统（In-Memory Database）；

（2）将数据完全存储在内存中而非磁盘，速度比传统数据库快10到10,000倍；

（3）专为实时数据分析和处理企业级事务（OLTP/OLAP）而设计，是新一代 SAP S/4HANA ERP 系统的核心。

产品与项目地址

✅ https://www.sap.cn/products/data-cloud/hana/what-is-sap-hana.html

✅ https://github.com/apache/dolphinscheduler

✅ https://github.com/apache/seatunnel

✅ https://github.com/alldatacenter/alldata

1、环境准备

（1）SapHana 版本：2.00
（2）Doris 版本：doris-2.0.7
（3）SeaTunnel 版本：2.3.13

2、进入数据源管理平台

（1）查看saphana 数据信息

3、进入离线开发平台

4、配置环境

（1）打开安全中心

（2）在左侧菜单选择环境管理

（3）创建环境

（4）配置 JDK
（5）配置 SeatunnelServer
（6）确定

5、创建任务

（1）打开项目管理

（2）创建项目

6、点击项目名称

（1）打开工作流定义

（2）创建工作流-找到数据集成 SEATUNNEL，拖拽到画板

（3）填写必填项
（4）页面下滑，找到脚本设置
（5）加入以下脚本内容

java 复制代码

env {
  parallelism = 1
  job.mode = "BATCH"
}

source {
  Jdbc {
    driver = com.sap.db.jdbc.Driver
    url = "jdbc:sap://32g003:39017"
    user = "SYSTEM"
    password = "Abcd1234"
    query = "SELECT EMPLOYEE_ID , NAME , DEPARTMENT  FROM employees"
  }
}

sink {
  Doris {
    fenodes = "32g006:18030"
    username = "root"
    password = "123456"
    database = "mydb"
    table = "saphana_result"
    sink.label-prefix = "test_json"
    sink.enable-2pc = "false"
    sink.enable-delete = "true"
    doris.config {
      format = "json"
      read_json_by_line = "true"
    }
  }
}