高效同步！离线开发平台（DolphinScheduler）实现Apache IotDB物联网数据同步到 Doris

【AllData数据中台】集成开源项目 DolphinScheduler，构建了可视化、高可靠的离线开发平台。

本文将完整演示Apache IOTDB数据同步到 Doris的全流程操作，从环境准备、数据源配置、任务流程编排，到任务执行调度、最终结果校验，全程采用简洁、可视化的配置方式，带你快速完成跨数据源数据同步。

共包含以下国内外开源组件：
1、开源项目

1.1 apache iotdb开源项目

1.2 apache dolphinscheduler开源项目

1.3 apache seatunnel开源项目

1.4 alldatacenter alldata开源项目

2、开源项目地址

2.1 https://github.com/apache/iotdb

2.2 https://github.com/apache/dolphinscheduler

2.3 https://github.com/apache/seatunnel

2.4 https://github.com/alldatacenter/alldata

一、环境准备

● iotdb 版本：1.3.0

● Doris 版本：doris-2.0.7

● SeaTunnel 版本：2.3.13

二、进入数据源管理平台

1、iotdb数据信息

2、创建Doris库表（无需操作，自动建表）

● 此时还未同步数据，doris中无相关表结构

三、进入离线开发平台

四、配置环境

1、打开安全中心

2、在左侧菜单选择环境管理

3、创建环境

● 配置 JDK

● 配置 SeatunnelServer

● 确定

五、创建任务

1、打开项目管理

2、创建项目

六、点击项目名称

1、打开工作流定义

2、创建工作流

● 找到数据集成 SEATUNNEL，拖拽到画板

● 填写必填项

● 页面下滑，找到脚本设置

● 加入以下脚本内容

java 复制代码

env {
  parallelism = 2
  job.mode = "BATCH"
}

source {
  IoTDB {
    node_urls = "32g006:26667"
    username = "root"
    password = "root"
    sql = "select status, hardware from root.ln.wf02.wt02"
    schema {
      fields {
        ts = timestamp
        status = boolean
        hardware = string
      }
    }
  }
}

sink {
  Doris {
    fenodes = "32g006:18030"
    username = "root"
    password = "123456"
    database = "mydb"
    table = "iotdb_result"
    sink.label-prefix = "test_json"
    sink.enable-2pc = "false"
    sink.enable-delete = "true"
    doris.config {
      format = "json"
      read_json_by_line = "true"
    }
    save_mode_create_template = """
      CREATE TABLE IF NOT EXISTS `${database}`.`${table}` (
        `ts` DATETIMEV2 NULL,
        `status` BOOLEAN,
        `hardware` STRING
      ) ENGINE=OLAP
      DUPLICATE KEY(`ts`)
      DISTRIBUTED BY HASH(`ts`) BUCKETS 8
      PROPERTIES (
        "replication_num" = "1"
      )
    """
  }
}