
ls -l /proc/*/fd/* 2>/dev/null | grep deleted
---命令用于查找系统中已被删除但仍被进程占用的文件(也称为"幽灵文件"或"未释放文件句柄")。
真正吃掉 1.2T 磁盘的,是 3 个进程的"已删除日志文件"
最少有一个 nohup.out 是"巨无霸文件"
| PID | 文件 | 判断 |
|---|---|---|
| 3363 | /home/service/qms/nohup.out (deleted) |
⭐⭐⭐⭐⭐ 最大嫌疑(业务日志) |
| 814 | /var/log/audit/audit.log (deleted) |
⭐⭐⭐(审计日志,可能很大) |
| 1224 | /var/log/tuned/tuned.log (deleted) |
⭐(一般不大) |
查看指定进程详细信息
ps -fp 3363 ps -fp 814
向进程发送终止信号
kill -TERM 3363
kill -TERM 814

重启系统调优服务
systemctl restart tuned
防止 100% 再次发生(强烈建议你做)
nohup xxx >> app.log 2>&1 &
配合 logrotate。
vi /etc/audit/auditd.conf ----audit 日志限制大小
max_log_file = 50
num_logs = 5
systemctl restart auditd ----重启 audit
logrotate -f /etc/logrotate.d/tuned ---tuned 日志轮转
🧠 本次事故的根因总结(非常重要)
业务进程 + nohup.out + 没有日志轮转 = 磁盘必炸
具体是:
-
/home/service/qms/nohup.out -
文件被
rm -
但进程还在写
-
导致 1TB 日志"隐身占盘"