df 显示磁盘还有空间却无法写文件:Linux inode 耗尽排查与治理

应用报 No space left on device,但执行 df -h 明明还有几十 GB 空间。这类看似矛盾的问题,常见原因不是磁盘容量耗尽,而是 inode 用完了:文件系统还能容纳数据块,却已经无法再创建新的文件和目录。

一、同时检查容量和 inode

bash 复制代码
df -hT
df -ih

df -hT 看数据块使用率,df -ih 看 inode 使用率。如果某个挂载点 IUse% 接近 100%,即可确认问题方向。

inode 记录文件的元数据。大量小文件会快速消耗 inode,即使这些文件占用的总容量并不大。

二、定位哪个目录文件数量最多

先确认异常挂载点,再在该文件系统内逐层统计。假设问题发生在 /var

bash 复制代码
sudo find /var -xdev -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -nr | head -30

也可以按一级目录统计文件数量:

bash 复制代码
for d in /var/*; do
  printf '%10s %s\n' "$(sudo find "$d" -xdev -type f 2>/dev/null | wc -l)" "$d"
done | sort -nr | head

-xdev 很重要,它避免跨越到其他挂载点。生产服务器上执行全盘 find 可能产生明显 IO,应该先从异常文件系统和可疑目录开始。

三、常见元凶

高频来源包括:

  • 应用按请求或任务生成大量临时文件;
  • PHP Session、邮件队列或爬虫缓存未清理;
  • 容器日志、overlay2 层或构建缓存产生海量小文件;
  • 监控、追踪和审计系统保存过细的分片;
  • 定时任务不断生成文件但没有生命周期策略;
  • 程序异常重试,每次失败都创建新文件。

检查近期快速增长的文件:

bash 复制代码
sudo find /var -xdev -type f -mmin -60 2>/dev/null | head -100

只输出前 100 条用于观察,不要直接把大规模结果全部打印到终端。

四、安全释放 inode

先识别文件的业务用途、保留周期和是否仍被进程使用,再进行清理。常见安全做法包括调用应用自带的清理命令、缩短缓存周期、压缩归档旧日志,以及修复异常生成逻辑。

删除前先抽样:

bash 复制代码
sudo find /var/tmp/myapp -xdev -type f -mtime +7 -print | head -50

确认无误后再按明确目录和条件处理。不要执行来源不明的全盘批量删除命令,也不要删除 /proc/sys 或容器运行时仍在使用的文件。

清理后复查:

bash 复制代码
df -ih
df -hT

五、Docker 环境的专项检查

bash 复制代码
docker system df -v
sudo find /var/lib/docker -xdev -type f 2>/dev/null | wc -l

不要直接进入 /var/lib/docker 手工删除文件。应优先删除已确认不再使用的容器、镜像和构建缓存,并在操作前确认回滚和重建方案。

如果业务频繁生成短生命周期小文件,可考虑把临时目录挂载到独立文件系统,避免拖垮根分区。

六、建立长期治理

监控不能只看磁盘容量,还要同时采集 inode 使用率。建议设置分级告警:

  • 70%:观察增长速度;
  • 85%:定位目录并准备清理;
  • 95%:进入紧急处置,限制异常写入。

部署前还要评估文件数量,而不仅是数据容量。创建文件系统时 inode 密度由文件系统参数决定,调整通常需要重新格式化,因此更重要的是从应用生命周期和目录隔离上治理。

总结

"磁盘有空间但写不进去"时,应立即把 df -ih 加入检查清单。确认异常挂载点后,使用 find -xdev 从局部统计文件数量,抽样确认业务用途,再通过应用清理机制释放 inode。最终还要补上 inode 监控和小文件生命周期策略,避免故障反复出现。

相关推荐
朽棘不雕7 小时前
可执行程序的格式
linux
IT摆渡者8 小时前
11Panel 部署雷池WAF
linux
学习路上_write8 小时前
Linux黑马命令学习
linux·运维·服务器
那年窗外下的雪.8 小时前
AIDC 学习日志|第 22 天|All-Active/Single-Active 故障演练设计
服务器·网络·学习·算法·哈希算法
yunwei378 小时前
eBPF 教程:追踪 CUDA GPU 操作
linux·后端·性能优化
Android系统攻城狮8 小时前
Linux Gstreamer深度解析之gst_audio_channel_reorder_map调用流程与实战(十八)
linux·运维·服务器·音视频进阶·gstreamer音视频进阶
新时代牛马9 小时前
docker run 起不来?从dockerd、containerd 到runc 一条线讲透
运维·docker·容器
TomEval9 小时前
【App 自动化】14 - App 自动化基础与环境
运维·自动化
cc_yy_zh9 小时前
学习使用kali抓包
服务器·学习·php
盛世宏博智慧档案9 小时前
户外配电柜为什么要装POE供电以太网温湿度传感器?
服务器·网络·人工智能·监控·温湿度·配电柜