服务器异常磁盘写排查手册 · 已删除文件句柄篇

适用范围

适用于磁盘写满 ≥ 90 %,但 dudf 差距 ≥ 50 % 的紧急事件。


1. 现象确认

bash 复制代码
# 1.1 确认已删除文件占用
lsof +L1 2>/dev/null | awk '$7 > 50000000 {print $2, $7/1024/1024 "MB", $9}'
# 输出示例:2817 7832MB /tmp/.x86_64 (deleted)

2. 样本提取与静态分析

bash 复制代码
PID=2817
cp /proc/$PID/exe /tmp/sample.bin
file /tmp/sample.bin
# ELF 64-bit LSB executable, statically linked, stripped
strings /tmp/sample.bin | grep -E 'stratum|gulf\.moneroocean\.stream'

3. 网络行为取证(无 rootkit 时)

使用 auditd 记录进程外联:

bash 复制代码
# /etc/audit/rules.d/mine.rules
-a always,exit -F arch=b64 -S connect -F pid=2817 -k mine_out

重载并查看:

bash 复制代码
sudo systemctl restart auditd
sudo ausearch -k mine_out -i

若出现 saddr=45.142.214.12 则与威胁情报匹配。


4. 止血(不停业务)

bash 复制代码
# 4.1 临时黑洞矿池网段
ip route add blackhole 45.142.214.0/24

# 4.2 释放已删除文件占用的空间
kill -9 2817
echo 2 > /proc/sys/vm/drop_caches

5. 加固与长期方案

  1. 挂载层加固
    /tmp 改为独立 tmpfs 并加 ro,nosuid,nodev

    bash 复制代码
    mount -t tmpfs -o ro,nosuid,nodev,size=1G tmpfs /tmp
  2. 接入层收敛
    业务域名解析到高防 Anycast IP,源站仅暴露 922 (SSH) 和 443 (HTTPS);边缘节点提供托管 WAF 规则集,自动拦截已知挖矿 User-Agent。

  3. 日志留存
    高防平台以 Parquet 格式投递 7 天原始请求日志至 S3 兼容桶,生命周期 30 天后自动冷存,符合企业内部审计要求。


6. 小结

  • lsof +L1 是定位"已删未关"文件的最快路径
  • 黑洞路由 + drop_caches 可在不重启服务的情况下恢复磁盘空间
  • 将入口流量托管至具备 Anycast + 行为识别能力的边缘网络,比本地堆叠 iptables 规则更具可扩展性
相关推荐
liliangcsdn3 小时前
结合prompt分析NodeRAG的build过程
java·服务器·人工智能·数据分析·知识图谱
云的牧人3 小时前
Ubuntu 22 redis集群搭建
linux·运维·ubuntu
siriuuus3 小时前
Linux 磁盘扩容及分区相关操作实践
linux·运维·服务器
Clownseven3 小时前
Mattermost教程:用Docker搭建自己的开源Slack替代品 (团队聊天)
docker·容器·开源
会飞的小蛮猪3 小时前
Jenkins运维之路(权限分配&忘记admin密码)
java·运维·经验分享·jenkins·prometheus
Rysxt_3 小时前
开源定时器教程:Quartz与XXL-JOB全面对比与实践
开源·定时器
❀͜͡傀儡师3 小时前
Docker部署Drawnix开源白板工具
docker·容器·开源·drawnix
❀͜͡傀儡师3 小时前
Docker部署Lunalytics开源监控工具
docker·容器·开源·lunalytics
AI Echoes3 小时前
别再手工缝合API了!开源LLMOps神器LMForge,让你像搭积木一样玩转AI智能体!
人工智能·python·langchain·开源·agent