Spark JobHistory Server清理日志功能未生效,导致频繁挂掉

查看日志清理功能是打开的:spark.history.fs.cleaner.enabled = true,

spark.history.fs.cleaner.interval 和spark.history.fs.cleaner.maxAge使用的是默认值。

但是/user/spark/applicationHistory/ 目录下日志一直未不清理!存储的日志数量超过所允许的最大值。

缩短maxAge时间,然后重启了服务器,发现日志确实被清理了些。

但是还有大量未被清理的,有些运行时失败的spark job的日志没有被清理掉!

例如/user/spark/applicationHistory/application_XXX.inprogress

手动清理掉这些文件,spark Historyserver恢复正常!

相关推荐
数据智能老司机11 小时前
CockroachDB权威指南——CockroachDB SQL
数据库·分布式·架构
数据智能老司机11 小时前
CockroachDB权威指南——开始使用
数据库·分布式·架构
你觉得20512 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
数据智能老司机12 小时前
CockroachDB权威指南——CockroachDB 架构
数据库·分布式·架构
啊喜拔牙12 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
IT成长日记12 小时前
【Kafka基础】Kafka工作原理解析
分布式·kafka
别惊鹊12 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清12 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_8712905814 小时前
MapReduce 的工作原理
大数据·mapreduce
州周14 小时前
kafka副本同步时HW和LEO
分布式·kafka