海豚调度系列之:任务类型——Apache SeaTunnel

海豚调度系列之:任务类型------Apache SeaTunnel

  • [一、Apache SeaTunnel](#一、Apache SeaTunnel)
  • 二、创建任务
  • 三、任务参数
  • 四、任务样例
    • [1.在 DolphinScheduler 中配置 SeaTunnel 环境](#1.在 DolphinScheduler 中配置 SeaTunnel 环境)
    • [2.配置 SeaTunnel 任务节点](#2.配置 SeaTunnel 任务节点)

一、Apache SeaTunnel

SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.shstart-seatunnel-flink.shseatunnel.sh 命令解析 config 文件。

二、创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

三、任务参数

四、任务样例

该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。

1.在 DolphinScheduler 中配置 SeaTunnel 环境

若生产环境中要是使用到 SeaTunnel 任务类型,则需要先配置好所需的环境,配置文件如下:/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

2.配置 SeaTunnel 任务节点

根据上述参数说明,配置所需的内容即可。

Config 样例

bash 复制代码
env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}
相关推荐
deepwater_zone13 小时前
主流的开源协议(MIT,Apache,GPL v2/v3)
apache·开源协议
lingggggaaaa13 小时前
小迪安全v2023学习笔记(七十九讲)—— 中间件安全&IIS&Apache&Tomcat&Nginx&CVE
笔记·学习·安全·web安全·网络安全·中间件·apache
lifallen15 小时前
Kafka 内存池MemoryPool 设计
数据结构·kafka·apache
闯闯桑2 天前
toDF(columns: _*) 语法
开发语言·前端·spark·scala·apache
A-刘晨阳2 天前
从全球视角到K8s落地的Apache IoTDB实战
kubernetes·apache·iotdb
管家婆客服中心2 天前
管家婆分销ERP A/V系列导出提示加载数据过大的处理方式
linux·服务器·apache
HashData酷克数据2 天前
官宣:Apache Cloudberry (Incubating) 2.0.0 发布!
数据库·开源·apache·cloudberry
XMYX-03 天前
解决 Apache/WAF SSL 证书链不完整导致的 PKIX path building failed 问题
网络协议·apache·ssl
IT·陈寒3 天前
怎么这么多 StringUtils —— Apache、Spring、Hutool 全面对比
java·spring·apache
喂完待续4 天前
【Big Data】云原生与AI时代的存储基石 Apache Ozone 的技术演进路径
云原生·架构·apache·big data·序列晋升