解决Hadoop审计日志hdfs-audit.log过大的问题

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

复制代码
df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

复制代码
du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字"audit"

接着往下拉,发现审计日志配置的是INFO级别:

于是改为WARN级别,保存后重启hdfs相关组件。

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~

相关推荐
小岐AI观2 小时前
智赋岐黄适合养生馆吗?
大数据·人工智能·物联网
大大大大晴天2 小时前
SR不只查内部表:External Catalog、联邦查询与统一分析
大数据
anxiao_m4 小时前
2026制造业云桌面选型攻略,不同生产场景适配方案汇总
大数据·网络·数据库
土星云SaturnCloud4 小时前
产线SOP动作级AI监管方案:土星云SE110S-WC8赋能合规识别、预警与效率分析
大数据·服务器·人工智能·ai·边缘计算
牛企老板俱乐部5 小时前
广东机器人结构验证手板产业格局:深圳珠海东莞三城分析
大数据·人工智能
Keystone_Onion5 小时前
基于5大仓群路由算法的中大件美国海外仓降本架构与数据实测分析
大数据
buligbulig5 小时前
智能电网的数据底座:电力行业大数据治理路径解析
大数据
ltqvibe6 小时前
企业AI改造的四层路径:从点上应用到企业大脑
大数据·人工智能·本体语义平台·企业ai改造·数据打通·企业大脑·企业认知基础设施
anxiao_m6 小时前
园区数字孪生怎么搭建?主流方案与服务商深度对比
大数据·运维·人工智能
stonewl25997 小时前
2026化工企业标签打印自动化方案
大数据