Spark JobHistory Server清理日志功能未生效,导致频繁挂掉

查看日志清理功能是打开的:spark.history.fs.cleaner.enabled = true,

spark.history.fs.cleaner.interval 和spark.history.fs.cleaner.maxAge使用的是默认值。

但是/user/spark/applicationHistory/ 目录下日志一直未不清理!存储的日志数量超过所允许的最大值。

缩短maxAge时间,然后重启了服务器,发现日志确实被清理了些。

但是还有大量未被清理的,有些运行时失败的spark job的日志没有被清理掉!

例如/user/spark/applicationHistory/application_XXX.inprogress

手动清理掉这些文件,spark Historyserver恢复正常!

相关推荐
小马爱打代码35 分钟前
SpringBoot原生实现分布式MapReduce计算
spring boot·分布式·mapreduce
瞎胡侃1 小时前
Spark读取Apollo配置
大数据·spark·apollo
悻运1 小时前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫1 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_824256861 小时前
Spark-Streaming
大数据·分布式·spark
胡耀超2 小时前
附1:深度解读:《金融数据安全 数据安全分级指南》——数据分类的艺术专栏系列
大数据·金融·数据治理·生命周期·数据分类·政策法规
合新通信 | 让光不负所托2 小时前
【合新通信】浸没式液冷光模块与冷媒兼容性测试技术报告
大数据·网络·光纤通信
元6332 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
cooldream20093 小时前
深入解析大数据的Lambda架构:设计、特点与应用场景
大数据·架构·系统架构师
沐风¥3 小时前
Kafka和Spark-Streaming
spark