AllData数据中台通过开源项目AirFlow建设离线开发IDE,打造大数据离线调度引擎



企业痛点: 直击数据开发痛点,重构离线任务开发全流程

● 本地开发环境与生产环境不一致,代码写完部署就报错;

● 调试依赖繁琐配置,单次调试要等几十分钟;

● 工作流编写无实时提示,语法错误难排查;版本管理混乱,误操作无法回滚;

● 多团队协作低效,代码交接全靠口头说明。

解决方案: 从环境适配、代码编写、调试优化到协作管理,全方位破解行业痛点

● 降本增效:简化环境配置、提升编码与调试效率,减少无效内耗,帮助企业降低人力成本,让数据任务快速落地,支撑业务决策;

● 软件灵活:Airflow工作流的配置比较容易上手掌握,Python代码写工作流比较灵活

● 团队适配:Airflow适合中小型数据团队,适合离线批处理为主,ETL,数据同步,工作流调度,告警通知等场景。

什么是 AirFlow ?

AllData数据中台集成AirFlow构建的离线开发IDE,是 AllData 数据中台集成的可视化任务调度开发环境,支持工作流编排、任务调度、运维监控与系统配置,实现离线数据任务全生命周期统一管理。

💎 AirFlow 开源项目:https://github.com/apache/airflow

💎 AirFlow 官方文档:https://airflow.apache.org/docs/apache-airflow/stable/index.html

● 可视化任务编排,降低开发门槛

● 丰富的任务类型支持,满足多样化需求

● 智能调度与监控,保障任务稳定运行

● 代码扫描与安全防护,确保数据安全合规


功能菜单一:离线开发IDE-任务概览

任务概览集中展示离线任务全量状态,支持按 DAG、运行状态、时间筛选,实时查看成功 / 失败 / 运行中等进度,快速定位异常任务,支持一键重跑、暂停与日志查询,实现任务全局可视化管控。

(1)AllData数据中台-离线开发IDE-任务概览

集中展示离线任务运行状态,支持快速筛选与异常排查,直观掌握 AirFlow 任务整体执行情况。


(2)离线开发IDE-任务概览-点击查看资源池

通过任务概览可跳转查看对应资源池信息,直观关联任务与资源占用,便于调度分析与运维排查。

2.1 管理服务器调度资源池

2.2 编辑资源池

2.3 新增资源池

功能菜单二:离线开发IDE-工作流管理

工作流管理支持基于 AirFlow 可视化编排离线任务 DAG,配置依赖关系与调度周期,支持启停、编辑、版本管理与定时执行,实时监控流转状态,保障数据加工流程稳定、可追溯、可运维。

(1)离线开发IDE-工作流管理

支持可视化编排 AirFlow 工作流,配置任务依赖与调度策略,实现离线任务全生命周期管理与监控。

1.1 工作流管理-执行工作流任务

(2)工作流管理-任务实例

展示工作流下各任务实例运行状态,支持启停、重跑与日志查看,实时监控 AirFlow 任务执行全过程。

(3)工作流管理-支持执行、重跑、补数、监控任务数据

展示离线工作流整体执行状态与耗时,支持触发执行、回溯重跑,实时监控 AirFlow 工作流运行与异常处理。

3.1 清除工作流,重新初始化

功能菜单三:离线开发IDE-资源管理

资源管理统一管控离线任务运行所需计算、存储等资源,支持资源配额配置与动态调度,结合 AirFlow 实现任务资源隔离与高效复用,保障任务稳定运行。

(1)离线开发IDE-资源管理

1.1 创建资源事件

1.2 资源管理-点击任务

1.3 工作流管理-执行任务


1.4 点击执行工作流任务

功能菜单四:离线开发IDE-运维管理

提供任务监控、异常告警、日志查询与重试机制,结合 AirFlow 实现工作流全生命周期运维,支持状态追溯与问题快速定位,保障离线任务稳定运行。

(1)运维管理-审计日志

完整记录用户操作、任务调度与变更记录,支持快速检索追溯,实现离线开发全流程可审计、可回溯。

功能菜单五:离线开发IDE-系统设置

支持用户权限、参数配置、环境管理等功能,结合 AirFlow 实现统一权限管控与系统参数维护,保障离线开发 IDE 安全稳定运行。

(1)系统设置-变量

支持统一配置全局变量,供 AirFlow 任务动态调用,实现参数集中管理,简化离线任务配置与维护。

1.1 导入变量

1.2 导出变量

1.3 新增变量

(2)系统设置-资源池

统一管理离线任务计算资源池,支持配额分配与调度策略,结合 AirFlow 实现任务资源隔离与高效调度。

2.1 编辑资源池

2.2 新增资源池

(3)系统设置-Providers

支持管理 AirFlow 各类组件扩展插件,统一维护数据源与任务类型,提升离线开发 IDE 适配与扩展能力。

(4)系统设置-插件

统一管理 AirFlow 插件,支持扩展任务类型与交互能力,灵活适配离线开发场景,提升 IDE 扩展性。

(5)系统设置-链接

统一管理各类数据源与外部系统连接信息,支持加密配置,供 AirFlow 任务安全调用,简化离线开发链路配置。

5.1 添加链接

5.2 编辑链接

(6)系统设置-配置

统一管理 AirFlow 全局运行参数,支持可视化配置与生效管控,保障离线开发调度环境稳定高效。

AllData 大数据产品 × AirFlow 开源项目

离线任务开发的效率与质量,直接决定企业数据价值的释放速度。AirFlow 此次推出离线开发IDE新功能,既是对开发者需求的精准洞察,也是对数据开发行业趋势的精准把握------随着AI技术与开发工具的深度融合,"智能、高效、便捷"已成为离线开发的核心需求。

对于企业而言,引入AirFlow离线开发IDE新功能,不仅能提升数据开发效率,降低运维成本,更能规范开发流程,减少任务报错与延迟,让海量数据快速转化为业务价值,为企业数字化转型提供核心支撑。

杭州奥零数据科技官网:http://www.aolingdata.com

⏰ 4月30日 下午14:00

AllData数据中台新版本发布 & 涵盖13+新功能,抢先看!

立即预约,开播第一时间通知你

👇点击下方【预约按钮】

视频号"杭州奥零数据科技"

相关推荐
2401_887724502 小时前
如何正确在CSS中加载本地JPG背景图片
jvm·数据库·python
Francek Chen2 小时前
【IoTDB】工业物联网时序数据库优选:Apache IoTDB的显著优势
大数据·数据库·物联网·时序数据库·iotdb
智能化咨询2 小时前
(194页PPT)西门子PLM产品协同研发平台建设规划方案(附下载方式)
大数据
weixin_381288182 小时前
mysql如何优化索引以减少扫描_mysql高效索引设计原则
jvm·数据库·python
2401_897190552 小时前
golang如何实现SSRF防护策略_golang SSRF防护策略实现方案
jvm·数据库·python
高洁012 小时前
计算机视觉实战:图像去噪模型训练与应用
人工智能·python·深度学习·机器学习·transformer
源码之家2 小时前
计算机毕业设计:Python电商农产品销售数据分析可视化系统 Flask框架 数据分析 可视化 机器学习 数据挖掘 大数据 大模型(建议收藏)✅
大数据·python·机器学习·数据挖掘·数据分析·flask·课程设计
常利兵2 小时前
告别臃肿!Elasticsearch平替Manticore登场
大数据·elasticsearch·jenkins
淮北4942 小时前
ubuntu22.04将mp4转换成gif
python·scrapy·flask·beautifulsoup·pyqt·matplotlib