Apache DolphinScheduler 技术详解进阶(资源中心)

本文介绍了Apache DolphinScheduler的内置参数及其用于调度的应用,包括基础和衍生参数的使用方法。

此外,文章还详细阐述了如何在 DolphinScheduler 中引用依赖资源,例如使用资源中心管理文件和引用脚本,以 Shell 任务为例进行说明。

内置参数

DolphinScheduler提供了一些时间相关的系统参数,方便定时调度使用。

1)基础内置参数

变量名 参数 说明
system.biz.date ${system.biz.date} 定时时间前一天,格式为 yyyyMMdd
system.biz.curdate ${system.biz.curdate} 定时时间,格式为 yyyyMMdd
system.datetime ${system.datetime} 定时时间,格式为 yyyyMMddHHmmss

2)衍生内置参数

可通过衍生内置参数,设置任意格式、任意时间的日期。

(1)自定义日期格式

可以对yyyyMMdd,yyyyMM-dd

(2)使用add_months() 函数

该函数用于加减月份, 第一个入口参数为yyyyMMdd,表示返回时间的格式 第二个入口参数为月份偏移量,表示加减多少个月。

参数 说明
$add_months(yyyyMMdd,12\*N) 后 N 年
$add_months(yyyyMMdd,-12\*N) 前 N 年
$add_months(yyyyMMdd,N) 后 N 月
$add_months(yyyyMMdd,-N) 前 N 月

(3)直接加减数字

在自定义格式后直接"+/-"数字,单位为"天"。

参数 说明
$yyyyMMdd+7\*N 后 N 周
$yyyyMMdd-7\*N 前 N 周
$yyyyMMdd+N 后 N 天
$yyyyMMdd-N 前 N 天
$HHmmss+N/24 后 N 小时
$HHmmss-N/24 前 N 小时
$HHmmss+N/24/60 后 N 分钟
$HHmmss-N/24/60 前 N 分钟

3)配置示例

若执行的脚本需要一个格式为 yyyy-MM-dd 的前一天日期的参数,进行如下配置即可

${system.biz.date}

日志结果如下

引用依赖资源

有些任务需要引用一些额外的资源,例如 MR、Spark 等任务须引用 jar 包,Shell 任务需要引用其他脚本等。DolphinScheduler 提供了资源中心来对这些资源进行统一管理。资源中心存储系统可选择本地文件系统或者 HDFS 等。资源中心除了提供文件资源管理功能,还提供了 Hive 自定义函数管理的功能。

下面以 Shell 任务为例,演示如何引用资源中心的其他脚本。

1)点击资源中心,点击创建文件

2)创建文件

3)确保HDFS可以查询到 hello.sh 脚本

4)编辑Node-A中的内容,保存并执行

5)查看任务实例中Node-A结果

Apache DolphinScheduler 作为一个高效的任务调度和管理平台,通过其强大的内置参数和资源中心,为用户提供了灵活的时间调度和资源管理功能。通过掌握这些功能,用户可以更加高效地管理和执行各种计算任务,从而提高整体的工作效率和准确性。

本文由 白鲸开源科技 提供发布支持!

相关推荐
Upsy-Daisy1 分钟前
Hermes Agent 学习笔记 06:Skills 系统,Agent 如何把经验沉淀为可复用能力?
大数据·elasticsearch·搜索引擎
YangYang9YangYan21 分钟前
学数据分析对应用统计学与大数据专业的价值
大数据·数据挖掘·数据分析
上海蓝色星球24 分钟前
从 “算量工具“ 到 “造价智能 ERP“:蓝色星球造价机器人如何重构造价行业的核心逻辑
大数据·重构·机器人
木心术126 分钟前
在NVIDIA DGX Spark上部署NemoClaw的实际操作方案以及实际应用便利性。
大数据·分布式·spark
EDA365电子论坛30 分钟前
AI 赋能 BOM 编制全流程,彻底解决型号 / 封装 / 精度 / 尾缀写错问题
大数据·人工智能
代码讲故事34 分钟前
在没有kibana的ES(elasticsearch)线上生产环境集群中,如何通过命令行修改或增加字段而不需要reindex?
大数据·elasticsearch·搜索引擎·命令行·es·索引·模版
云器科技37 分钟前
美团 BI 在指标平台和分析引擎上的探索和实践
大数据
跨境猫小妹1 小时前
多国海关字段持续细化后跨境卖家如何搭建商品信息映射表
大数据·数据库·人工智能·跨境电商·跨境·营销策略
Aurora_Dawn_yy1 小时前
单机部署数据同步_jdk,mysql,kafka,flink,zookeeper,达梦,starrocks
大数据·linux·starrocks·zookeeper·达梦
CryptoPP1 小时前
多市场行情 API 接入实战:一套接口打通股票/外汇/期货/加密货币 + WebSocket 实时推送
大数据·网络·人工智能·websocket·网络协议·金融·区块链