【Linux运维】服务器磁盘清理与Docker日志治理实战:一次巡检释放70G空间

一台连续运行 45 天的 8 核 / 31G 内存服务器,曾因 Docker 容器日志无限膨胀把 96G 根分区写满到 100%。本文复盘从资源巡检、定位可删文件到安全清理的全流程,并沉淀三个典型坑的完整解法:容器日志 47GB 膨胀、restart docker 搞坏插件挂载、docker stop 强杀有状态服务。

1. 背景与目标

服务器为 CentOS 7,双数据分区:根分区 96G、/opt 200G。上面跑着一套知识图谱检索服务------两个 LightRAG 实例共享 Neo4j / PostgreSQL / Milvus / MinIO / etcd 后端(共 7 个容器),外加一个 FunASR 语音识别服务(容器化,约 3.5G 常驻内存)。

一个月前这台服务器发生过一次磁盘 100% 事故(根因是 Milvus 容器日志膨胀到 47GB),当时做了应急处理和日志轮转配置,但 /opt 分区上仍遗留着大块历史数据。本次目标有三个:

  1. 全面巡检资源现状(CPU / 内存 / 磁盘 / 容器健康度);
  2. 识别并清理 /opt 下确认无用的历史数据;
  3. 把这次治理过程沉淀成可复用的磁盘清理方法论,下次遇到同类问题不再拍脑袋删。

巡检结论先行:CPU 负载 0.6(8 核下非常轻)、内存 17G available(宽松)、容器全部健康------磁盘是唯一的历史隐患 ,治理重点放在 /opt。

2. 服务架构与资源画像

2.1 巡检命令组

一套命令拿全所有关键指标,建议直接存成脚本:

bash 复制代码
# 分区、内存、负载一把梭
df -h && free -h && uptime

# CPU 信息
lscpu | grep -E 'Model name|CPU\(s\)|Core|Thread'

# 容器健康度(重点看 STATUS 列的 healthy / 重启次数)
docker ps --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'

# 内存 / CPU 占用 Top10
ps aux --sort=-%mem | head -11
ps aux --sort=-%cpu | head -11

# /opt 逐层下钻找大头
du -sh /opt/* 2>/dev/null | sort -rh

2.2 组件与资源画像

组件 形态 内存占用(RSS) 说明
FunASR 容器 3.5G 语音识别,加载多套模型
Milvus 容器 3.4G 向量库,内存 limit 已提至 4G
Neo4j 容器 2.9G 图库,JVM 堆 2G
LightRAG 实例 A 容器 0.49G 端口 9621
LightRAG 实例 B 容器 0.42G 端口 9622
PostgreSQL / MinIO / etcd 容器 各 <0.2G 后端依赖

巡检时发现一个细节值得说明:CPU Top 里短暂出现过 166% 占用的 cypher-shell ... RETURN 1 进程------这是 Neo4j 容器健康检查探针刚启动时的瞬时值,几秒后消失,不是异常。看到瞬时高 CPU 先查它是不是探针/健康检查进程,别急着处置。

3. 磁盘治理方法论

3.1 三步定位法

  1. df 定分区:先看哪个分区紧张,别一上来就全局 find;
  2. du 逐层下钻 :du -sh /opt/* | sort -rh,从大到小逐层进入,一般 2~3 层就能锁定大头;
  3. 交叉验证"没人在用" :这是最关键也最容易被跳过的一步,删除前必须凑齐三个证据:
    • 进程视角 :ps -ef | grep <路径> 看有没有进程引用(注意容器化的服务要看容器挂载,不能只看宿主机进程);
    • 时间戳视角 :stat 看目录最后修改时间------本次删除的旧录像数据最后写入停在 17 个月前,这类"超过一个自然年无写入"的数据基本可判死;
    • 服务启停记录 :结合 systemctl list-unit-files 和历史运维记录,确认相关服务已禁用而非只是暂时停了。

3.2 可删文件分级

把 /opt 下的大项按"红黄绿"三档分级,先给出建议再逐项和业务确认:

档位 本次命中的内容 大小 判定依据
🟢 确认可删 旧监控录像存储 ×2 70G 2025-05 后零写入,无进程引用
🟢 确认可删 空目录、已装完的安装包 <0.1G 纯遗留
🟡 谨慎 镜像 tar、最近 2 周仍在改动的项目目录 1.3G 重装/在建要用
🔴 保留 FunASR 模型目录(2.7G)、运行中服务数据 --- 在用

分级的好处是把"删错的代价"显性化:🟢 删错了最多丢历史死数据,🟡 删错了要重下镜像重来,🔴 删了服务直接起不来。让业务方对着代价做决策,比让他对着文件名做决策靠谱得多。

4. 清理执行

bash 复制代码
# 删除前先留证:记录现状,方便前后对比
df -h /opt && du -sh '/opt/旧录像目录(4)' '/opt/旧录像目录(5)'

# 执行删除。注意:目录名带括号,必须用引号包裹,
# 否则括号会被 shell 解释,报 syntax error
rm -rf '/opt/旧录像目录(4)' '/opt/旧录像目录(5)'

# 删除后复核
df -h /opt

成果:

指标 清理前 清理后
/opt 已用 100G 30G
/opt 可用 101G 170G
使用率 50% 15%

一次性释放 70G。加上一个月前那次根分区治理(日志截断 + 遗留数据清理),两个分区都回到健康水位。

5. 踩坑记录(共 3 个)

坑 1:磁盘 100% 写满,元凶是 Docker 容器日志膨胀到 47GB

现象:

text 复制代码
Filesystem              Size  Used  Avail Use%  Mounted on
/dev/mapper/centos-root  96G   96G   20K 100%  /

根分区使用率 100%,仅剩 20KB 可用,服务全面异常:文件写入失败、容器随机崩溃、知识图谱服务无法写入索引。

原因:

用 du -sh /var/lib/docker/containers//-json.log 逐个排查容器日志,定位到 Milvus 容器的 JSON 日志文件达 47GB。根因是一条三级链条:

  1. Milvus 容器内存 limit 设了 3G,但实际 segment 加载需求 3.3G,超出限制;
  2. 于是 Milvus 每秒刷一条 segment request resource failed[resourceType=Memory] WARN 日志;
  3. Docker 默认 json-file 日志驱动没有大小上限,日志无限膨胀。

注意:日志 47GB 只是症状,内存 limit 错配才是根因。只截断日志不调 limit,问题一定会复发。

解决:

bash 复制代码
# 应急止血:truncate 截断(不要用 rm------文件正被进程持有,rm 不释放空间)
truncate -s 0 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log

# 根治一:日志轮转(写入 daemon.json,需重启 docker 生效)
cat > /etc/docker/daemon.json <<'EOF'
{"log-driver":"json-file","log-opts":{"max-size":"100m","max-file":"3"}}
EOF
systemctl restart docker

# 根治二:内存 limit 提到 4G(高于 segment 加载峰值 3.3G)
# docker-compose.yml 中 milvus 服务 mem_limit: 4g

# 兜底:crontab 每天 3 点清理容器日志
# 0 3 * * * /opt/clean-logs.sh

三个动作各司其职:truncate 是止血,log-opts 上限(单容器最多 300MB)是根治日志,内存 limit 调整是根治根因,crontab 是最后一道保险。

预防:

  • 新部署任何容器,compose/run 里必配 log-opts 或 logging 上限,把这条写进部署 checklist;
  • 内存 limit 不要贴着当前用量设,要按"峰值需求 + 余量"(本次 segment 加载峰值 3.3G,limit 却是 3G);
  • 日常巡检清单加一项:du -sh /var/lib/docker/containers//-json.log,单日志超过 1G 就要警惕。

坑 2:systemctl restart docker 后,插件挂载损坏、容器起不来

现象:

配置日志轮转后执行 systemctl restart docker,随后 Neo4j 容器启动失败,退出码 127,报错:

text 复制代码
docker: Error response from daemon:
failed to create shim task: ... not a directory: unknown

排查发现宿主机上 bind mount 进容器的那几个插件 jar 文件,全都变成了同名空目录。

原因:

插件 jar 是以 bind mount 方式挂载进容器的。docker daemon 重启过程中挂载点状态损坏,宿主机侧的 jar 文件被同名空目录覆盖。容器启动时尝试把"目录"当"文件"挂载,直接失败。这个坑的隐蔽之处在于:它只影响 bind mount 的文件 (目录挂载不受影响),且只在 daemon 级重启时触发,日常 docker restart <容器> 遇不到。

解决:

bash 复制代码
# 1. 删掉损坏的空目录
docker stop <neo4j容器>
rm -rf /宿主机插件目录/变成空目录的jar

# 2. 从本地备份重新上传 jar 到原路径
# 3. 重新启动容器
docker start <neo4j容器>

预防:

  • 执行 systemctl restart docker(或任何 daemon 级操作)前,对 bind mount 的关键文件(插件 jar、证书、配置)先做一次备份;
  • daemon 重启后不要只盯主服务,逐个 docker ps -a 检查所有容器的退出码,有非 0 退出码的挨个排查。

坑 3:docker stop 批量停容器,两个服务退出码 137 被强杀

现象:

执行 docker stop $(docker ps -q) 批量停所有容器,事后 docker ps -a 检查:大多数容器 Exited (0) 正常退出,但 FunASR 和 Milvus 是:

text 复制代码
funasr          Exited (137) Less than a second ago
lightrag-milvus-1 Exited (137) Less than a second ago

原因:

docker stop 的机制是先发 SIGTERM,默认 10 秒超时后还没退出就 SIGKILL 强杀。退出码 137 = 128 + 9(SIGKILL 信号编号)。FunASR 和 Milvus 这类加载了大模型 / 大索引的内存重型服务,优雅关闭(落盘、断开连接)本来就超过 10 秒,于是被强杀。

对 Milvus 这类有状态服务来说,SIGKILL 意味着没有走完整的落盘流程。多数情况下 Milvus 能在下次启动时自愈,但这严格意义上不算干净关闭,存在数据一致性风险------对数据敏感场景不能赌。

解决:

bash 复制代码
# 停有状态服务时显式给足超时(60 秒起步,重服务可给 120)
docker stop -t 60 <milvus容器>
docker stop -t 60 <funasr容器>

# 已经被 137 强杀的,启动后观察日志确认无数据损坏
docker start <milvus容器>

预防:

  • 停数据库、向量库、消息队列等有状态服务,永远显式 docker stop -t 60,不要裸 stop;
  • 恢复时注意依赖顺序:先 etcd / MinIO 这类基础设施,再 Milvus / PG / Neo4j,最后应用层。偷懒的做法是 docker compose up -d 让 compose 按 depends_on 自动排序拉起;
  • 批量操作后必查 docker ps -a 的退出码,137 是强杀信号,别当正常退出放过。

6. 总结

成果量化:

动作 效果
资源巡检 CPU 0.6 / 内存 17G available / 容器全健康,确认唯一隐患是磁盘
/opt 清理 释放 70G,使用率 50% → 15%
历史治理累计 根分区 100% → 58%,/opt 50% → 15%

三条核心经验:

  1. 磁盘满的根因往往不是业务数据 。本次 70G 是确认真死的历史录像(时间戳 + 无进程引用双验证),而一个月前 47GB 的真凶是容器日志------治理前先用 du 把分区逐层下钻,别盯着业务目录猜。
  2. 症状和根因要分开治。日志膨胀是症状(truncate + log-opts 根治),内存 limit 错配是根因(调 limit 根治),只做前者必复发。
  3. 删除的信心来自证据链,不是直觉。进程引用、时间戳、服务启停记录三个证据凑齐,70G 的大删除也可以放心执行;凑不齐就分级列出来,让业务对着删错的代价做决策。

后续计划:把巡检命令组固化成每日 cron 脚本(磁盘水位 >80% 告警),并把"容器必配日志上限 / 有状态服务 stop 必带 -t"写进部署规范,让这两类坑从制度上不再发生。

相关推荐
星恒随风1 小时前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql
csdn_aspnet12 小时前
Docker MySql 5.7、MySql8.x 进阶配置
mysql·docker·容器
多弗朗皮卡丘14 小时前
网络基础:数据链路层与其他协议或技术
linux·网络·tcp/ip
wflynn15 小时前
GitHub 今日推荐|kiri:clone3 系统调用直达容器,2.5 毫秒启动无 runc 中间层
docker·rust·kubernetes·开源·github·containers
方便面不加香菜19 小时前
Docker Volume -- 对照总结及综合实战案例操作演示
运维·docker·容器
dingdingfish20 小时前
TLPI 第52章 读书笔记:POSIX Message Queues
linux·mq·ipc·posix·message·tlpi
wacsii21 小时前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe1 天前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent