海豚调度系列之:任务类型——Apache SeaTunnel

海豚调度系列之:任务类型------Apache SeaTunnel

  • [一、Apache SeaTunnel](#一、Apache SeaTunnel)
  • 二、创建任务
  • 三、任务参数
  • 四、任务样例
    • [1.在 DolphinScheduler 中配置 SeaTunnel 环境](#1.在 DolphinScheduler 中配置 SeaTunnel 环境)
    • [2.配置 SeaTunnel 任务节点](#2.配置 SeaTunnel 任务节点)

一、Apache SeaTunnel

SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.shstart-seatunnel-flink.shseatunnel.sh 命令解析 config 文件。

二、创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

三、任务参数

四、任务样例

该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。

1.在 DolphinScheduler 中配置 SeaTunnel 环境

若生产环境中要是使用到 SeaTunnel 任务类型,则需要先配置好所需的环境,配置文件如下:/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

2.配置 SeaTunnel 任务节点

根据上述参数说明,配置所需的内容即可。

Config 样例

bash 复制代码
env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}
相关推荐
半梦半醒*18 小时前
keepalived部署
运维·服务器·nginx·架构·centos·apache
从零开始学习人工智能20 小时前
Apache Airflow:让复杂工作流自动化变得简单优雅
运维·自动化·apache
FreeBuf_20 小时前
Apache Airflow漏洞致敏感信息泄露:只读用户可获取机密数据
apache
Raymond运维21 小时前
Apache介绍和安装
linux·运维·apache
SelectDB技术团队1 天前
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
数据库·人工智能·apache·olap·mcp
檀越剑指大厂1 天前
Apache IoTDB:为工业物联网数据打造的专属“智慧中枢
物联网·apache·iotdb
云上小朱2 天前
软件部署-domino
linux·apache
云上小朱2 天前
问题处理-domino登录异常,network erro
github·apache
加菲猫8603 天前
Apache Log4j2 lookup JNDI 注入漏洞(CVE-2021-44228)
log4j·apache
sanx183 天前
一站式电竞平台解决方案:数据、直播、源码,助力业务飞速启航
前端·数据库·apache·数据库开发·时序数据库