海豚调度

DolphinScheduler社区6 天前
apache·海豚调度·大数据工作流调度
Apache DolphinScheduler “僵尸任务”怎么处理?新旧版本安全清理方案在DolphinScheduler运行过程中,有时会出现任务界面显示"运行中"状态,但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进,需要手动干预。本文将针对不同版本提供安全清理方案。
DolphinScheduler社区12 天前
大数据·运维·云原生·apache·海豚调度
Apache DolphinScheduler 6 月治理优化,补齐调度运维全链路细节社区朋友们,今年 6 月份的社区月报来啦!不同于常规月度大版本功能迭代,本月 Apache DolphinScheduler 社区全力深耕底层治理!小伙伴们重点打磨了平台稳定性,比如完成 3.4.2 版本运维闭环、优化任务故障转移能力、修复高并发偶发故障、落地日志敏感数据脱敏,补齐部署、存储、CI 工程等各类线上细碎短板。
DolphinScheduler社区1 个月前
大数据·云原生·serverless·apache·海豚调度·版本发版
Apache DolphinScheduler 3.4.2 正式发布!新增 Amazon EMR Serverless 插件,增强监控与补数据能力近日,Apache DolphinScheduler 社区正式发布 3.4.2 版本。作为 3.4.x 系列的重要维护版本,3.4.2 延续了社区一贯的高质量迭代节奏。本次发布不仅带来了 Amazon EMR Serverless 任务插件、监控中心增强等用户可直接感知的新能力,同时还围绕补数据场景、任务插件能力、安全治理、权限控制以及底层架构进行了大规模优化和重构。
DolphinScheduler社区1 个月前
数据库·mysql·开源·apache·海豚调度·大数据工作流调度
实战演示 | 基于 Apache DolphinScheduler 与 Apache SeaTunnel 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
DolphinScheduler社区2 个月前
大数据·运维·自动化·任务调度·海豚调度
DolphinScheduler 3.1.3 跨越升级 3.4.1:基于 API 的自动化迁移方案作者 | 肖清海当前 DolphinScheduler 版本: 3.1.3 当前 seatunnel 版本: 2.1.3
DolphinScheduler社区2 个月前
spring·spring cloud·apache·海豚调度·大数据工作流调度
Apache DolphinScheduler 与 Spring Cloud Data Flow:差异与优势解析Spring Cloud Data Flow是一个基于Spring Boot和Spring Cloud的开源框架,旨在简化云原生环境中数据流处理和批处理任务的开发、部署与管理。它提供了一种统一的编程和操作模型,用于编排可组合的数据微服务,支持在Cloud Foundry、Kubernetes等现代平台上运行.
DolphinScheduler社区3 个月前
java·spark·apache·海豚调度·大数据工作流调度
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!在线配置 worker 运行环境,一个 worker 可以指定多个环境,每个环境等价于 dolphinscheduler_env.sh 文件.
DolphinScheduler社区3 个月前
大数据·flink·spark·开源·apache·海豚调度·大数据工作流调度
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践在数据平台不断演进的过程中,一个非常常见但又隐蔽的误区是:团队会不自觉地让调度系统承担越来越多“本不属于它”的职责,比如在调度层写复杂业务逻辑、控制计算参数,甚至试图统一管理不同计算引擎的执行细节。短期来看似乎提升了效率,但从长期来看,这种设计往往会让系统变得高度耦合、难以维护,甚至在规模上来之后失去稳定性。
DolphinScheduler社区4 个月前
大数据·开源·apache·海豚调度·大数据工作流调度
小白版 | Apache DolphinScheduler 本地启动指南作者 | 智业软件 张晓宁本文面向希望在本地阅读和调试 DolphinScheduler 核心源码的开发者,示例环境为 Windows + IntelliJ IDEA + Docker Desktop + PostgreSQL + ZooKeeper。
DolphinScheduler社区4 个月前
java·数据库·开源·apache·海豚调度·大数据工作流调度
Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测Apache DolphinScheduler 社区近日正式发布 3.4.1 版本。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。
DolphinScheduler社区4 个月前
开源·apache·任务调度·开源社区·海豚调度·大数据工作流调度
Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。
DolphinScheduler社区5 个月前
大数据·开源·apache·任务调度·海豚调度
第 3 篇|调度是如何“跑起来”的?在前两篇中,我们已经分别拆解了调度系统要解决什么问题,以及Workflow 在逻辑层面是如何被抽象和建模的。
DolphinScheduler社区6 个月前
linux·flink·kafka·开源·apache·海豚调度·大数据工作流调度
Linux 环境下,Apache DolphinScheduler 如何驱动 Flink 消费 Kafka 数据?已经在虚拟机部署好Apache DolphinScheduler了,想尝试下在Flink新建一个Flink节点,然后用Flink消费Kafka数据。
DolphinScheduler社区6 个月前
数据库·开源·apache·开源社区·海豚调度·大数据工作流调度
深度探秘 Apache DolphinScheduler 数据库模式本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式,此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。它具备广泛的兼容性,可支持 MySQL、PostgreSQL 和 H2 等多种数据库,其具体定义存储在 dolphinscheduler - dao/src/main/resources/sql 目录下。
DolphinScheduler社区8 个月前
java·大数据·开源·飞书·告警·任务调度·海豚调度
图解 Apache DolphinScheduler 如何配置飞书告警记住这个【Webhook】后面配置【海豚告警】的时候会用到。在【安全中心】中,选择【告警实例管理】中的【创建告警实例】。
DolphinScheduler社区8 个月前
大数据·开源·apache·海豚调度·大数据工作流调度
结项报告完整版 | 为 Apache DolphinScheduler 添加 gRPC 插件过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache DolphinScheduler 项目的最新进展。
DolphinScheduler社区8 个月前
大数据·开源·apache·海豚调度
Apache DolphinScheduler 新增 gRPC 任务插件 | 开源之夏成果总结今年的开源之夏活动已接近尾声,Apache DolphinScheduler 社区的开发者在经过漫长的开发过程收获了自己的成果,同时为 Apache DolphinScheduler 带来了全新的任务插件 gRPC。
DolphinScheduler社区9 个月前
java·大数据·开源·任务调度·azkaban·海豚调度·迁移案例
真实迁移案例:从 Azkaban 到 DolphinScheduler 的选型与实践我们最早选择用 LinkedIn 开源的 Azkaban 做调度,主要是看中它两个特点:一是界面清爽,操作简单;二是它用“项目”来管理任务,非常直观。那时候团队刚开始搭建数据平台,这种轻量又清晰的工具,正好符合我们的需要。其他还有其他原因:
DolphinScheduler社区9 个月前
大数据·开源·apache·任务调度·海豚调度·发版
Apache DolphinScheduler 3.3.2 正式发布!性能与稳定性有重要更新我们非常高兴地宣布,Apache DolphinScheduler 3.3.2 正式发布!本次版本重点围绕 性能优化、稳定性增强、文档完善与关键问题修复 展开,为广大用户带来更加顺畅、可靠的数据工作流编排体验。
DolphinScheduler社区9 个月前
java·大数据·开源·apache·海豚调度·大数据工作流调度
小白指南:Apache DolphinScheduler 补数据功能实操演示最近使用 Apache DolphinScheduler 调度任务,不可避免地使用到【补数据】功能,经过不断尝试,终于成功运行了【补数据】功能,以此帖记录。