离线调度

AllData公司负责人

AllData数据中台通过开源项目AirFlow建设离线开发IDE，打造大数据离线调度引擎企业痛点：直击数据开发痛点，重构离线任务开发全流程 ● 本地开发环境与生产环境不一致，代码写完部署就报错； ● 调试依赖繁琐配置，单次调试要等几十分钟； ● 工作流编写无实时提示，语法错误难排查；版本管理混乱，误操作无法回滚； ● 多团队协作低效，代码交接全靠口头说明。

spark运行报错：Container killed by YARN for exceeding memory limits用spark跑数据量大的离线调度任务报错：Reason: Container killed by YARN for exceeding memory limits. 19.0 GB of 19 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

一切如来心秘密

DolphinScheduler on k8s 云原生部署实践DolphinScheduler 是由 Analysys 开源的分布式、易于扩展的可视化工作流任务调度平台，解决了需要企业级问题：

我是有底线的