服务器异常磁盘写排查手册 · 已删除文件句柄篇

适用范围

适用于磁盘写满 ≥ 90 %,但 dudf 差距 ≥ 50 % 的紧急事件。


1. 现象确认

bash 复制代码
# 1.1 确认已删除文件占用
lsof +L1 2>/dev/null | awk '$7 > 50000000 {print $2, $7/1024/1024 "MB", $9}'
# 输出示例:2817 7832MB /tmp/.x86_64 (deleted)

2. 样本提取与静态分析

bash 复制代码
PID=2817
cp /proc/$PID/exe /tmp/sample.bin
file /tmp/sample.bin
# ELF 64-bit LSB executable, statically linked, stripped
strings /tmp/sample.bin | grep -E 'stratum|gulf\.moneroocean\.stream'

3. 网络行为取证(无 rootkit 时)

使用 auditd 记录进程外联:

bash 复制代码
# /etc/audit/rules.d/mine.rules
-a always,exit -F arch=b64 -S connect -F pid=2817 -k mine_out

重载并查看:

bash 复制代码
sudo systemctl restart auditd
sudo ausearch -k mine_out -i

若出现 saddr=45.142.214.12 则与威胁情报匹配。


4. 止血(不停业务)

bash 复制代码
# 4.1 临时黑洞矿池网段
ip route add blackhole 45.142.214.0/24

# 4.2 释放已删除文件占用的空间
kill -9 2817
echo 2 > /proc/sys/vm/drop_caches

5. 加固与长期方案

  1. 挂载层加固
    /tmp 改为独立 tmpfs 并加 ro,nosuid,nodev

    bash 复制代码
    mount -t tmpfs -o ro,nosuid,nodev,size=1G tmpfs /tmp
  2. 接入层收敛
    业务域名解析到高防 Anycast IP,源站仅暴露 922 (SSH) 和 443 (HTTPS);边缘节点提供托管 WAF 规则集,自动拦截已知挖矿 User-Agent。

  3. 日志留存
    高防平台以 Parquet 格式投递 7 天原始请求日志至 S3 兼容桶,生命周期 30 天后自动冷存,符合企业内部审计要求。


6. 小结

  • lsof +L1 是定位"已删未关"文件的最快路径
  • 黑洞路由 + drop_caches 可在不重启服务的情况下恢复磁盘空间
  • 将入口流量托管至具备 Anycast + 行为识别能力的边缘网络,比本地堆叠 iptables 规则更具可扩展性
相关推荐
tritone3 小时前
我在阿贝云免费服务器上搭建RustDesk自建服务器(Self-Hosting)的真实体验【推荐】
运维·服务器
2301_800050993 小时前
DNS 服务器
linux·运维·笔记
慌糖3 小时前
自动化接口框架搭建分享-pytest第二部分
运维·自动化·pytest
Lin_Aries_04213 小时前
容器化简单的 Java 应用程序
java·linux·运维·开发语言·docker·容器·rpc
洲覆3 小时前
Redis 核心数据类型:从命令、结构到实战应用
服务器·数据库·redis·缓存
岁岁种桃花儿3 小时前
详解 Kubernetes 命令:kubectl exec -it nginx -- bash 及实战场景
运维·nginx·kubernetes
小牛马爱写博客3 小时前
DNS 服务器与 DHCP 服务器详解及配置指南
linux·运维·服务器·dns·dhcp
维尔切3 小时前
HAProxy 负载均衡器
linux·运维·数据库·负载均衡
什么半岛铁盒3 小时前
C++项目:仿muduo库高并发服务器-------Channel模块实现
linux·服务器·数据库·c++·mysql·ubuntu
2503_924806853 小时前
动态IP使用中 报错407 怎么办???
服务器·tcp/ip·php