Apache Dolphinscheduler - 执行工作流却没有创建任务实例分析

问题描述

最近碰到一个奇怪的问题,DS 创建工作流成功,但是一旦执行,始终在转,而且没有任何执行的痕迹,后来到数据库一查发现压根没创建任务实例。

我们都知道一个工作流里面可以挂多个任务节点,执行工作流的时候,会创建工作量实例和对应的任务流实例。

但此时只创建了工作流实例,并没有创建任务流实例......继续分析

javascript 复制代码
[ERROR] 2024-03-22 19:09:00.653 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[1020] - [WorkflowInstance-39509][TaskInstance-0] - Submit standby task null error, taskCode: 13014149591840
java.lang.NullPointerException: null
[ERROR] 2024-03-22 19:09:00.654 +0800 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[709] - [WorkflowInstance-0][TaskInstance-0] - Start workflow error
java.lang.NullPointerException: null
        at java.util.concurrent.ConcurrentHashMap.putVal(ConcurrentHashMap.java:1011)
        at java.util.concurrent.ConcurrentHashMap.put(ConcurrentHashMap.java:1006)
        at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.submitStandByTask(WorkflowExecuteRunnable.java:1855)
        at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.submitPostNode(WorkflowExecuteRunnable.java:1367)
        at org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable.call(WorkflowExecuteRunnable.java:703)
        at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1604)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:750)

还有一个特别坑的地方是,发现第一个 null 是没有堆栈信息。这就加大了排查难度,后来发现原来这里已经是失败重试环节,但是最开始是有堆栈信息的。

原因分析

根据前几次的自定义组件开发经验,一开始就怀疑是否参数传落了,特别是一些默认参数。

经过一系列摸索排查,发现在 taskParam 对象里 resourceList 为 null 导致 ds 报错 NPE

javascript 复制代码
{
    "taskParams": {
        "localParams": [
            {
                "prop": "name",
                "direct": "OUT",
                "type": "VARCHAR",
                "value": "Bob",
                "boolGlobal": false
            }
        ],
        "resourceList": null
    }
}

解决方案

只要在传参到 ds 前给予 resourceList 为空时默认赋值 [] 即可

相关推荐
handsomestWei8 小时前
RAGFlow0.25版本更新与记忆工作流简介
ai·知识库·工作流·rag·智能体·ragflow·记忆
带娃的IT创业者10 小时前
DaVinci Resolve – Photo:当视频调色之王,跨界“修图”,意味着什么?
图像处理·音视频·工作流·davinci resolve·后期制作·视频调色·色彩管理
仰望星空的凡人1 天前
openclaw接入飞书流程一览(保姆式教程)
飞书·工作流·openclaw
带娃的IT创业者2 天前
GitHub Stacked PRs:重塑现代软件开发的工作流革命
github·软件开发·工作流·代码审查·pull request·stacked prs
DolphinScheduler社区2 天前
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!
java·spark·apache·海豚调度·大数据工作流调度
YaBingSec2 天前
玄机网络安全靶场:Apache HTTPD 解析漏洞(CVE-2017-15715)WP
java·笔记·安全·web安全·php·apache
SuperherRo3 天前
服务攻防-中间件安全&Apache&Tomcat&Jetty&Weblogic&AJP协议&反序列化&CVE漏洞
中间件·tomcat·apache·jetty·weblogic
回忆2012初秋3 天前
时序库.net平台下的推荐 SonnetDB,一文分析清除他与Apache IoTDB的区同
apache·iotdb
家有娇妻张兔兔4 天前
Apache POI 导出 Word 踩坑实录:Word 分栏为什么做不好左右平铺
c#·word·apache·poi·分栏
HashData酷克数据4 天前
官宣:Apache Cloudberry (Incubating) 2.1.0 正式发布!
apache