海豚调度

DolphinScheduler社区5 天前
开源·agent·海豚调度·大数据工作流调度
Apache DolphinScheduler 3.4.3 发布!权限安全与稳定性全面增强,调度补火即将上线近日,Apache DolphinScheduler 3.4.3 正式发布。本次版本围绕调度、权限、安全、性能和稳定性等核心能力持续优化,并针对任务实例与工作流实例查询、API 权限控制、敏感信息保护、任务失败恢复等多个生产环境中的实际场景进行了改进和修复。此外,预计将在 3.5.0 版本添加调度补火策略,
DolphinScheduler社区10 天前
大数据·安全·开源·apache·任务调度·海豚调度
Apache DolphinScheduler 8 月报:权限安全加固,调度补火上线,性能与稳定性持续提升Apache DolphinScheduler 8 月月报来啦!过去一个月,社区持续推进项目迭代,在功能优化、性能提升和生态建设等方面不断取得新进展。让我们一起看看 8 月 DolphinScheduler 又有哪些值得关注的更新,也感谢每一位参与贡献、积极反馈和支持社区的小伙伴,正是大家的共同努力,让 DolphinScheduler 持续成长!
DolphinScheduler社区18 天前
人工智能·开源·apache·agent·技术分享·海豚调度·大数据工作流调度
把 Apache DolphinScheduler 变成 Agent 的“手和脚”:从调度平台到自然语言数据入口随着大模型与 Agent 技术逐步进入企业数据领域,数据平台的人机交互方式也在发生变化:用户可以先用自然语言描述业务目标,再由 Agent 理解意图、补充上下文、规划任务,并调用平台能力完成执行。
DolphinScheduler社区2 个月前
apache·海豚调度·大数据工作流调度
Apache DolphinScheduler “僵尸任务”怎么处理?新旧版本安全清理方案在DolphinScheduler运行过程中,有时会出现任务界面显示"运行中"状态,但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进,需要手动干预。本文将针对不同版本提供安全清理方案。
DolphinScheduler社区2 个月前
大数据·运维·云原生·apache·海豚调度
Apache DolphinScheduler 6 月治理优化,补齐调度运维全链路细节社区朋友们,今年 6 月份的社区月报来啦!不同于常规月度大版本功能迭代,本月 Apache DolphinScheduler 社区全力深耕底层治理!小伙伴们重点打磨了平台稳定性,比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏,补齐部署、存储、CI 工程等各类线上细碎短板。
DolphinScheduler社区3 个月前
大数据·云原生·serverless·apache·海豚调度·版本发版
Apache DolphinScheduler 3.4.2 正式发布!新增 Amazon EMR Serverless 插件,增强监控与补数据能力近日,Apache DolphinScheduler 社区正式发布 3.4.2 版本。作为 3.4.x 系列的重要维护版本,3.4.2 延续了社区一贯的高质量迭代节奏。本次发布不仅带来了 Amazon EMR Serverless 任务插件、监控中心增强等用户可直接感知的新能力,同时还围绕补数据场景、任务插件能力、安全治理、权限控制以及底层架构进行了大规模优化和重构。
DolphinScheduler社区3 个月前
数据库·mysql·开源·apache·海豚调度·大数据工作流调度
实战演示 | 基于 Apache DolphinScheduler 与 Apache SeaTunnel 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
DolphinScheduler社区4 个月前
大数据·运维·自动化·任务调度·海豚调度
DolphinScheduler 3.1.3 跨越升级 3.4.1:基于 API 的自动化迁移方案作者 | 肖清海当前 DolphinScheduler 版本: 3.1.3 当前 seatunnel 版本: 2.1.3
DolphinScheduler社区4 个月前
spring·spring cloud·apache·海豚调度·大数据工作流调度
Apache DolphinScheduler 与 Spring Cloud Data Flow:差异与优势解析Spring Cloud Data Flow是一个基于Spring Boot和Spring Cloud的开源框架,旨在简化云原生环境中数据流处理和批处理任务的开发、部署与管理。它提供了一种统一的编程和操作模型,用于编排可组合的数据微服务,支持在Cloud Foundry、Kubernetes等现代平台上运行.
DolphinScheduler社区5 个月前
java·spark·apache·海豚调度·大数据工作流调度
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!在线配置 worker 运行环境,一个 worker 可以指定多个环境,每个环境等价于 dolphinscheduler_env.sh 文件.
DolphinScheduler社区5 个月前
大数据·flink·spark·开源·apache·海豚调度·大数据工作流调度
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践在数据平台不断演进的过程中,一个非常常见但又隐蔽的误区是:团队会不自觉地让调度系统承担越来越多“本不属于它”的职责,比如在调度层写复杂业务逻辑、控制计算参数,甚至试图统一管理不同计算引擎的执行细节。短期来看似乎提升了效率,但从长期来看,这种设计往往会让系统变得高度耦合、难以维护,甚至在规模上来之后失去稳定性。
DolphinScheduler社区6 个月前
大数据·开源·apache·海豚调度·大数据工作流调度
小白版 | Apache DolphinScheduler 本地启动指南作者 | 智业软件 张晓宁本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者,示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。
DolphinScheduler社区6 个月前
java·数据库·开源·apache·海豚调度·大数据工作流调度
Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。
DolphinScheduler社区6 个月前
开源·apache·任务调度·开源社区·海豚调度·大数据工作流调度
Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。
DolphinScheduler社区7 个月前
大数据·开源·apache·任务调度·海豚调度
第 3 篇|调度是如何“跑起来”的?在前两篇中,我们已经分别拆解了调度系统要解决什么问题,以及Workflow 在逻辑层面是如何被抽象和建模的。
DolphinScheduler社区8 个月前
linux·flink·kafka·开源·apache·海豚调度·大数据工作流调度
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。
DolphinScheduler社区8 个月前
数据库·开源·apache·开源社区·海豚调度·大数据工作流调度
深度探秘 Apache DolphinScheduler 数据库模式本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式,此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。它具备广泛的兼容性,可支持 MySQL、PostgreSQL 和 H2 等多种数据库,其具体定义存储在 dolphinscheduler - dao/src/main/resources/sql 目录下。
DolphinScheduler社区10 个月前
java·大数据·开源·飞书·告警·任务调度·海豚调度
图解 Apache DolphinScheduler 如何配置飞书告警记住这个【Webhook】后面配置【海豚告警】的时候会用到。在【安全中心】中,选择【告警实例管理】中的【创建告警实例】。
DolphinScheduler社区10 个月前
大数据·开源·apache·海豚调度·大数据工作流调度
结项报告完整版 | 为 Apache DolphinScheduler 添加 gRPC 插件过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。
DolphinScheduler社区10 个月前
大数据·开源·apache·海豚调度
Apache DolphinScheduler 新增 gRPC 任务插件 | 开源之夏成果总结今年的开源之夏活动已接近尾声,Apache DolphinScheduler 社区的开发者在经过漫长的开发过程收获了自己的成果,同时为 Apache DolphinScheduler 带来了全新的任务插件 gRPC。