解决Hadoop审计日志hdfs-audit.log过大的问题

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

复制代码
df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

复制代码
du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字"audit"

接着往下拉,发现审计日志配置的是INFO级别:

于是改为WARN级别,保存后重启hdfs相关组件。

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~

相关推荐
西邮彭于晏6 小时前
Git 标签(Tag)与版本发布完整指南|附全场景命令速查表
大数据·git·elasticsearch
梵构广告6 小时前
平台怎么做品牌营销策划?—品牌营销
大数据·人工智能·平面·品牌策划
AC赳赳老秦6 小时前
CSDN 技术社区数据采集:OpenClaw 抓取公开技术热帖,生成领域技术热点周报
java·大数据·前端·数据库·python·php·openclaw
Aloudata6 小时前
Prompt 驱动分析 vs Skill 驱动分析:企业 AI 分析如何从会问走向可复用
大数据·人工智能·数据分析·prompt·skill·语义层
数字化老赵6 小时前
有没有什么好用的AI工具可以用在设备巡检管理的?
大数据·人工智能·设备管理·设备
2401_881203966 小时前
一网统管 | 赋能智慧养老,守护夕阳美好时光
大数据·智慧养老·一网统管
A hao7 小时前
免校准 XR技术:打造沉浸式显示系统的关键技术
大数据
数据皮皮侠7 小时前
全国乡村旅游重点村DID数据(2000-2026)
大数据·人工智能·搜索引擎·智慧城市·制造·旅游
米瑞格门窗7 小时前
上海系统门窗哪个靠谱
大数据·人工智能·安全·家装·家装建材·系统门窗
江晓鱼未暖7 小时前
十七、Redis 核心原理与架构详解
大数据·数据库·数据仓库·redis·缓存·架构