一文读懂DolphinScheduler插件机制:如何轻松扩展任务类型与数据源

一、整体架构概览

DolphinScheduler 的插件体系基于 Java SPI(Service Provider Interface) 机制,配合 Google AutoService 自动生成注册文件,实现了零侵入的插件化扩展

arduino 复制代码
dolphinscheduler-spi                    ← 核心接口层(SPI基础设施)
dolphinscheduler-datasource-plugin      ← 数据源插件层
dolphinscheduler-task-plugin            ← Task插件层
dolphinscheduler-worker                 ← 插件消费层(Worker执行任务)

二、SPI 基础设施

scss 复制代码
PrioritySPI (接口)
  └── getIdentify(): SPIIdentify  ← 插件唯一标识 + 优先级
  └── compareTo(Integer)          ← 优先级比较

PrioritySPIFactory 是插件发现的核心引擎

less 复制代码
通过 Java 标准 ServiceLoader 扫描 classpath
for (T t : ServiceLoader.load(spiClass)) {
    if (map.containsKey(t.getIdentify().getName())) {
        resolveConflict(t);   // 同名插件按优先级决策,优先级相同则抛异常
    } else {
        map.put(t.getIdentify().getName(), t);
    }
}

插件注册方式:每个插件模块使用 @AutoService 注解,编译时自动在 META-INF/services/ 下生成 SPI 配置文件,无需手动维护

三、数据源插件详细流程

3.1 接口层次结构

scss 复制代码
DataSourceChannelFactory (SPI入口)
  └── getName()          ← 插件唯一名称,如 "MYSQL"
  └── create()           ← 创建 DataSourceChannel

DataSourceChannel (通道)
  └── createAdHocDataSourceClient()    ← 创建临时连接客户端
  └── createPooledDataSourceClient()   ← 创建连接池客户端

DataSourceClient (基础接口)
  └── getConnection(): Connection

PooledDataSourceClient extends DataSourceClient
  └── createDataSourcePool()           ← 创建 HikariCP 连接池

3.2 以 MySQL 为例的完整实现链

java 复制代码
MySQLDataSourceChannelFactory          ← @AutoService 注册
  └── create() → MySQLDataSourceChannel
        └── createPooledDataSourceClient() → MySQLPooledDataSourceClient
              └── extends BasePooledDataSourceClient
                    └── createDataSourcePool() → HikariDataSource
                          ├── setDriverClassName()
                          ├── setJdbcUrl()
                          ├── setUsername() / setPassword()
                          ├── setMinimumIdle() / setMaximumPoolSize()
                          └── setConnectionTestQuery()

四、Task 插件详细流程

4.1 接口层次结构

scss 复制代码
TaskChannelFactory (SPI入口) extends UiChannelFactory, PrioritySPI
  └── getName()          ← 插件类型名,如 "SHELL"
  └── create()           ← 创建 TaskChannel
  └── getParams()        ← 返回 UI 配置参数(前端渲染用)

TaskChannel (通道)
  └── createTask(TaskExecutionContext) → AbstractTask
  └── parseParameters(ParametersNode) → AbstractParameters
  └── getResources(parameters)        → ResourceParametersHelper
  └── cancelApplication(boolean)

AbstractTask (任务执行基类)
  └── init()             ← 初始化
  └── handle(callback)   ← 执行(抽象)
  └── cancel()           ← 取消(抽象)
  └── getExitStatus()    ← 根据 exitCode 返回状态

4.2 以 Shell 为例的完整实现链

sql 复制代码
ShellTaskChannelFactory                ← @AutoService 注册
  └── getName() → "SHELL"
  └── getParams() → [nodeName, runFlag, ...]  ← 前端UI参数
  └── create() → ShellTaskChannel
        └── createTask(ctx) → ShellTask
              └── handle(callback)
                    └── ShellCommandExecutor.run(shellActuatorBuilder)
                          └── 执行 Shell 脚本进程

五、两种插件的关键对

相关推荐
深入云栈29 分钟前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构
惜.己1 小时前
Java结合idea简单使用Playwright
java·开发语言·自动化
Decay__2 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
Vex2une2 小时前
JDK 8 下载安装与环境变量配置完整指南(Windows新手图文教程)
java·windows·环境配置·环境变量·jdk8·jdk下载安装·java入门教程
文丑颜不良啊3 小时前
LeetCode3281~3300题目解析
java·leetcode
laoyeye8313 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
nice_lcj5204 小时前
【从零理解计算机网络 · 02】分层模型:别背 OSI 七层,看数据怎么被“打包“和“拆包“
java·后端·tcp/ip·计算机网络·面试·osi·分层模型
SimonKing5 小时前
给Deepseek Harness装上插件市场,从此插件无忧
java·后端·程序员
艾莉丝努力练剑5 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
国科安芯6 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷