海豚调度系列之:任务类型——Apache SeaTunnel

海豚调度系列之:任务类型------Apache SeaTunnel

  • [一、Apache SeaTunnel](#一、Apache SeaTunnel)
  • 二、创建任务
  • 三、任务参数
  • 四、任务样例
    • [1.在 DolphinScheduler 中配置 SeaTunnel 环境](#1.在 DolphinScheduler 中配置 SeaTunnel 环境)
    • [2.配置 SeaTunnel 任务节点](#2.配置 SeaTunnel 任务节点)

一、Apache SeaTunnel

SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.shstart-seatunnel-flink.shseatunnel.sh 命令解析 config 文件。

二、创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

三、任务参数

四、任务样例

该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。

1.在 DolphinScheduler 中配置 SeaTunnel 环境

若生产环境中要是使用到 SeaTunnel 任务类型,则需要先配置好所需的环境,配置文件如下:/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

2.配置 SeaTunnel 任务节点

根据上述参数说明,配置所需的内容即可。

Config 样例

bash 复制代码
env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}
相关推荐
cesske20 小时前
uniapp 编译支付宝小程序canvas 合成图片实例,支付宝小程序 canvas 渲染图片 可以换成自己的图片即可
小程序·uni-app·apache
、花无将2 天前
PHP:下载、安装、配置,与apache搭建
android·php·apache
wei_shuo3 天前
Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践
架构·apache·iotdb
熊文豪3 天前
Windows安装Apache Kafka保姆级教程(图文详解+可视化管理工具)
windows·kafka·apache
左师佑图5 天前
Apache POI SXSSFWorkbook 报错“没有那个文件或目录”问题排查与解决方案
java·apache·excel
华阙之梦5 天前
【在 Windows 上运行 Apache Hadoop 或 Spark/GeoTrellis 涉及 HDFS 】
hadoop·windows·apache
SelectDB技术团队5 天前
Apache Doris 与 ClickHouse:运维与开源闭源对比
运维·clickhouse·apache
西京刀客5 天前
开源 ETL(Extract,Transform,Load)工具之Apache Hop
开源·apache·etl·hop
FIavor.6 天前
Cannot resolve plugin org.apache.maven.plugins:maven-jar-plugin:3.2.2 这怎么办
maven·apache·jar
低音钢琴6 天前
【从零开始构建性能测试体系-02】 Apache JMeter 取样器指南:从入门到精通
学习·jmeter·apache