解决Hadoop审计日志hdfs-audit.log过大的问题

【背景】

新搭建的Hadoop环境没怎么用,就一个环境天天空跑,结果今天运维告诉我说有一台服务器磁盘超过80%了,真是太奇怪了,平台上就跑了几个spark测试程序,哪来的数据呢?

【问题调查】

既然是磁盘写满了,那首先就要找到具体是什么数据写满的磁盘。

用df查看,是根目录,还不是数据盘;

复制代码
df -h

于是用du命令再挨个检查目录,看看具体是什么文件这么大

复制代码
du -h --maxx-depth=1 . 

终于发现在Hadoop的日志目录下,有一堆hdfs-audit.log日志,并且每个都有好几百M,删除之后,跟目录瞬间从81%减低到了42%;

问题是暂时解决了,可这样不是长久之计,审计日志还在写,过几天还得来删除。

【解决办法】

从Ambari页面上查看hdfs的配置,搜索关键字"audit"

接着往下拉,发现审计日志配置的是INFO级别:

于是改为WARN级别,保存后重启hdfs相关组件。

过了几天后,再检查服务器,发现磁盘根目录使用率没有明显增大,问题完美解决了~

相关推荐
openKylin12 小时前
从单点登录到全域安全,openKylin支撑国家电投数字身份认证创新实践
大数据·人工智能·安全
早睡早起早日毕业12 小时前
大数据管理与应用系列丛书《大数据平台架构》之第4章 Hadoop 分布式文件系统 (HDFS)
大数据·hadoop·架构
无心水12 小时前
【Hermes:核心机制】9、40+ 内置工具全解:执行/信息/媒体/记忆/协调五大类 —— 智能体手脚架完全手册
大数据·人工智能·openclaw·养龙虾·hermes·养马
sheji10513 小时前
扫地机器人行业深度分析报告
大数据·人工智能·机器人·智能硬件
SQL必知必会13 小时前
SQL 数据分析入门:如何把业务问题翻译成 SQL 查询
大数据·sql·数据分析
财迅通Ai13 小时前
德福科技2025年净利增长145.91% 高端突破引领成长新篇
大数据·人工智能·科技·德福科技
xinlianyq14 小时前
DeFi监管框架落地,美国认定多数代币为大宗商品
大数据·人工智能·区块链
璞华Purvar14 小时前
2026医疗器械敷料与功能性护肤品行业PLM解决方案:璞华易研PLM+AI破解妆械一体化研发难题
大数据·人工智能
2501_9333295514 小时前
AI 赋能媒介宣发新范式:Infoseek 重构企业品牌传播效率
大数据·人工智能·自然语言处理·架构
科技风向标go14 小时前
2026 年中国消费级监控售后现状与行业发展趋势研究;安防监控怎么选?认准全国联保 + 真质保更安心
大数据·网络·人工智能·监控·户外安防