海豚调度器

天地风雷水火山泽4 个月前
大数据·hive·海豚调度器
二百四十五、海豚调度器——用DolphinScheduler调度执行复杂的HiveSQL(HQL包含多种海豚无法正确识别的符号)在Hive中完成复杂JSON，既有对象还有数组而且数组中包含数组的解析后，原本以为没啥问题了，结果在DolphinScheduler中调度又出现了大问题，搞了一天、试了很多种方法、死了无数脑细胞，才解决了这个问题！
linweidong4 个月前
大数据·分布式·spark·etl·海豚调度器·离线调度
spark运行报错：Container killed by YARN for exceeding memory limits用spark跑数据量大的离线调度任务报错：Reason: Container killed by YARN for exceeding memory limits. 19.0 GB of 19 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.
别摸我的键盘1 年前
企业微信·监控·ds·海豚调度器
dolphinschedule配置企微告警服务（WeChat群组）ds配置好工作流后，比较重要的一个就是上线后的监控报警服务，如果你是基于企微作为协同办公的，WeChat群组预警必须是要安排上的，文章基于自建应用配合群组方式构建预警群，接入后，任务成功或者异常，会通过企微应用在群组内发消息通知，废话不多说，开干！