df 显示磁盘还有空间却无法写文件:Linux inode 耗尽排查与治理

应用报 No space left on device,但执行 df -h 明明还有几十 GB 空间。这类看似矛盾的问题,常见原因不是磁盘容量耗尽,而是 inode 用完了:文件系统还能容纳数据块,却已经无法再创建新的文件和目录。

一、同时检查容量和 inode

bash 复制代码
df -hT
df -ih

df -hT 看数据块使用率,df -ih 看 inode 使用率。如果某个挂载点 IUse% 接近 100%,即可确认问题方向。

inode 记录文件的元数据。大量小文件会快速消耗 inode,即使这些文件占用的总容量并不大。

二、定位哪个目录文件数量最多

先确认异常挂载点,再在该文件系统内逐层统计。假设问题发生在 /var

bash 复制代码
sudo find /var -xdev -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -nr | head -30

也可以按一级目录统计文件数量:

bash 复制代码
for d in /var/*; do
  printf '%10s %s\n' "$(sudo find "$d" -xdev -type f 2>/dev/null | wc -l)" "$d"
done | sort -nr | head

-xdev 很重要,它避免跨越到其他挂载点。生产服务器上执行全盘 find 可能产生明显 IO,应该先从异常文件系统和可疑目录开始。

三、常见元凶

高频来源包括:

  • 应用按请求或任务生成大量临时文件;
  • PHP Session、邮件队列或爬虫缓存未清理;
  • 容器日志、overlay2 层或构建缓存产生海量小文件;
  • 监控、追踪和审计系统保存过细的分片;
  • 定时任务不断生成文件但没有生命周期策略;
  • 程序异常重试,每次失败都创建新文件。

检查近期快速增长的文件:

bash 复制代码
sudo find /var -xdev -type f -mmin -60 2>/dev/null | head -100

只输出前 100 条用于观察,不要直接把大规模结果全部打印到终端。

四、安全释放 inode

先识别文件的业务用途、保留周期和是否仍被进程使用,再进行清理。常见安全做法包括调用应用自带的清理命令、缩短缓存周期、压缩归档旧日志,以及修复异常生成逻辑。

删除前先抽样:

bash 复制代码
sudo find /var/tmp/myapp -xdev -type f -mtime +7 -print | head -50

确认无误后再按明确目录和条件处理。不要执行来源不明的全盘批量删除命令,也不要删除 /proc/sys 或容器运行时仍在使用的文件。

清理后复查:

bash 复制代码
df -ih
df -hT

五、Docker 环境的专项检查

bash 复制代码
docker system df -v
sudo find /var/lib/docker -xdev -type f 2>/dev/null | wc -l

不要直接进入 /var/lib/docker 手工删除文件。应优先删除已确认不再使用的容器、镜像和构建缓存,并在操作前确认回滚和重建方案。

如果业务频繁生成短生命周期小文件,可考虑把临时目录挂载到独立文件系统,避免拖垮根分区。

六、建立长期治理

监控不能只看磁盘容量,还要同时采集 inode 使用率。建议设置分级告警:

  • 70%:观察增长速度;
  • 85%:定位目录并准备清理;
  • 95%:进入紧急处置,限制异常写入。

部署前还要评估文件数量,而不仅是数据容量。创建文件系统时 inode 密度由文件系统参数决定,调整通常需要重新格式化,因此更重要的是从应用生命周期和目录隔离上治理。

总结

"磁盘有空间但写不进去"时,应立即把 df -ih 加入检查清单。确认异常挂载点后,使用 find -xdev 从局部统计文件数量,抽样确认业务用途,再通过应用清理机制释放 inode。最终还要补上 inode 监控和小文件生命周期策略,避免故障反复出现。

相关推荐
HiDev_1 小时前
【非标自动化】2、认识元器件(运动控制模块)
运维·自动化
一路向北finish1 小时前
《CentOS 7 搭建 Hadoop 3.3.6 分布式集群:NFS 共享方案完整实操》
linux·运维·hadoop·分布式·centos
raindayinrain2 小时前
深入理解Linux内核--缺页异常,写时复制
linux·写时复制·缺页异常
xiaoxiangsiyan2 小时前
全网IPv6规模化改造实战指南
运维·网络·笔记·云原生·自动化
好评1242 小时前
【Linux】网络基础概念
linux·网络
杨云龙UP2 小时前
Toad for Oracle 调整表空间 Datafile 大小:Usage、Used Pct of Max 与 RESIZE 实战
linux·运维·服务器·数据库·oracle·dba·数据库运维
raindayinrain2 小时前
深入理解linux内核--文件页高速缓存,页框回收,性能优化
linux·性能优化·高速缓存·页框
badboy1213 小时前
Xilinx Vitis Core Development Kit 2025.2.1_Win+Linux
linux·fpga开发·xilinx
那年窗外下的雪.3 小时前
Linux 学习笔记
linux·笔记·学习