海豚调度系列之:任务类型——Apache SeaTunnel

海豚调度系列之:任务类型------Apache SeaTunnel

  • [一、Apache SeaTunnel](#一、Apache SeaTunnel)
  • 二、创建任务
  • 三、任务参数
  • 四、任务样例
    • [1.在 DolphinScheduler 中配置 SeaTunnel 环境](#1.在 DolphinScheduler 中配置 SeaTunnel 环境)
    • [2.配置 SeaTunnel 任务节点](#2.配置 SeaTunnel 任务节点)

一、Apache SeaTunnel

SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.shstart-seatunnel-flink.shseatunnel.sh 命令解析 config 文件。

二、创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

三、任务参数

四、任务样例

该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。

1.在 DolphinScheduler 中配置 SeaTunnel 环境

若生产环境中要是使用到 SeaTunnel 任务类型,则需要先配置好所需的环境,配置文件如下:/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

2.配置 SeaTunnel 任务节点

根据上述参数说明,配置所需的内容即可。

Config 样例

bash 复制代码
env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}
相关推荐
SunTecTec9 小时前
【阿里巴巴JAVA开发手册】IDE的text file encoding设置为UTF-8; IDE中文件的换行符使用Unix格式,不要使用Windows格式。
intellij-idea·seatunnel
Fireworkitte16 小时前
Apache POI 详解 - Java 操作 Excel/Word/PPT
java·apache·excel
蚂蚁数据AntData21 小时前
从性能优化赛到社区Committer,走进赵宇捷在Apache Fory的成长之路
大数据·开源·apache·数据库架构
小湘西21 小时前
Apache HttpClient 的请求模型和 I/O 类型
java·http·apache
SeaTunnel1 天前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
超级小忍11 天前
Spring Boot 集成 Apache Kafka 实战指南
spring boot·kafka·apache
GawynKing11 天前
Apache SeaTunnel Spark引擎执行流程源码分析
spark·源码·seatunnel
天上掉下来个程小白13 天前
Apache ECharts-02.入门案例
前端·spring boot·apache·echarts·苍穹外卖
SelectDB技术团队14 天前
Apache Doris 3.0.6 版本正式发布
大数据·数据分析·apache·实时分析·极速分析
guygg8815 天前
Linux中的阻塞信号与信号原理
linux·mysql·apache