海豚调度系列

最笨的羊羊8 个月前
海豚调度系列·认识海豚调度
海豚调度系列之:认识海豚调度简单易用:丰富的使用场景:High Reliability:High Scalability:DolphinScheduler 作为一款开源分布式工作流任务调度系统,可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下,并支持主流的Linux操作系统环境
最笨的羊羊8 个月前
cluster·集群部署·海豚调度系列
海豚调度系列之:集群部署(Cluster)集群部署目的是在多台机器部署 DolphinScheduler 服务,用于运行大量任务情况。创建部署用户,并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例
最笨的羊羊8 个月前
任务类型·海豚调度系列·sql节点
海豚调度系列之:任务类型——SQL节点Hive表创建示例 在hive中创建临时表并写入数据该样例向hive中创建临时表tmp_hello_world并写入一行数据。选择SQL类型为非查询,在创建临时表之前需要确保该表不存在,所以我们使用自定义参数,在每次运行时获取当天时间作为表名后缀,这样这个任务就可以每天运行。创建的表名格式为:tmp_hello_world_{yyyyMMdd}。 注意:sql任务组件的hive应用是基于JDBC去调用,SQL statement 不支持多行执行,请注意不要在语句末尾使用’;'。如果要执行多行语句请使用Hi
最笨的羊羊8 个月前
apache·任务类型·seatunnel·海豚调度系列
海豚调度系列之:任务类型——Apache SeaTunnelSeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件。
最笨的羊羊8 个月前
大数据·spark·海豚调度系列·spark节点
海豚调度系列之:任务类型——SPARK节点Spark 任务类型用于执行 Spark 应用。对于 Spark 节点,worker 支持两个不同类型的 spark 命令提交任务: