解决Hadoop审计日志hdfs-audit.log过大的问题

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

复制代码
df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

复制代码
du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字"audit"

接着往下拉,发现审计日志配置的是INFO级别:

于是改为WARN级别,保存后重启hdfs相关组件。

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~

相关推荐
hunteritself11 分钟前
卷卷卷!GPT-6 Sol、Luna 正式发布,OpenAI 开始卷价格了
大数据·前端·人工智能·深度学习·transformer
Q264336502333 分钟前
【有源码】基于XGBoost的安卓应用市场数据分析与评分预测系统-面向应用市场的安卓App评分回归预测方法研究
大数据·hadoop·数据挖掘·数据分析·回归·spark·毕业设计
IT毕设梦工厂1 小时前
计算机毕业设计选题推荐:基于大数据的培训机构信息分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·mysql·数据挖掘·数据分析·spark·课程设计
千舟软件1 小时前
【宿舍管理·产品功能】宿舍水电账单自动算
大数据·运维·科技·安全·业界资讯
天空'之城1 小时前
多智能体通信灾难:消息泛滥如何拖垮整个 Agent 系统
大数据·人工智能
2601_954971131 小时前
数据科学与大数据技术专业求职,数据分析证书和项目先准备哪个
大数据·数据挖掘·数据分析
没落之王1 小时前
AI在文言文——论文脉复苏对AI的意义
大数据·人工智能·算法
龙亘川1 小时前
政法工作系统数字化建设实践解读:以全周期闭环驱动政法工作现代化
大数据·人工智能·智慧城市·开源软件·数据可视化
陈工大模型2 小时前
2026年GEO工具选型指南:搜极星GEO如何破解企业AI搜索优化困局?
大数据·人工智能
智兆APS2 小时前
缝制制造APS转型总纲:分层跃迁行动手册、选型评估与长期进化范式
大数据·人工智能·服装行业aps·包箱行业aps