一台连续运行 45 天的 8 核 / 31G 内存服务器,曾因 Docker 容器日志无限膨胀把 96G 根分区写满到 100%。本文复盘从资源巡检、定位可删文件到安全清理的全流程,并沉淀三个典型坑的完整解法:容器日志 47GB 膨胀、restart docker 搞坏插件挂载、docker stop 强杀有状态服务。
1. 背景与目标
服务器为 CentOS 7,双数据分区:根分区 96G、/opt 200G。上面跑着一套知识图谱检索服务------两个 LightRAG 实例共享 Neo4j / PostgreSQL / Milvus / MinIO / etcd 后端(共 7 个容器),外加一个 FunASR 语音识别服务(容器化,约 3.5G 常驻内存)。
一个月前这台服务器发生过一次磁盘 100% 事故(根因是 Milvus 容器日志膨胀到 47GB),当时做了应急处理和日志轮转配置,但 /opt 分区上仍遗留着大块历史数据。本次目标有三个:
- 全面巡检资源现状(CPU / 内存 / 磁盘 / 容器健康度);
- 识别并清理
/opt下确认无用的历史数据; - 把这次治理过程沉淀成可复用的磁盘清理方法论,下次遇到同类问题不再拍脑袋删。
巡检结论先行:CPU 负载 0.6(8 核下非常轻)、内存 17G available(宽松)、容器全部健康------磁盘是唯一的历史隐患 ,治理重点放在 /opt。
2. 服务架构与资源画像
2.1 巡检命令组
一套命令拿全所有关键指标,建议直接存成脚本:
bash
# 分区、内存、负载一把梭
df -h && free -h && uptime
# CPU 信息
lscpu | grep -E 'Model name|CPU\(s\)|Core|Thread'
# 容器健康度(重点看 STATUS 列的 healthy / 重启次数)
docker ps --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
# 内存 / CPU 占用 Top10
ps aux --sort=-%mem | head -11
ps aux --sort=-%cpu | head -11
# /opt 逐层下钻找大头
du -sh /opt/* 2>/dev/null | sort -rh
2.2 组件与资源画像
| 组件 | 形态 | 内存占用(RSS) | 说明 |
|---|---|---|---|
| FunASR | 容器 | 3.5G | 语音识别,加载多套模型 |
| Milvus | 容器 | 3.4G | 向量库,内存 limit 已提至 4G |
| Neo4j | 容器 | 2.9G | 图库,JVM 堆 2G |
| LightRAG 实例 A | 容器 | 0.49G | 端口 9621 |
| LightRAG 实例 B | 容器 | 0.42G | 端口 9622 |
| PostgreSQL / MinIO / etcd | 容器 | 各 <0.2G | 后端依赖 |
巡检时发现一个细节值得说明:CPU Top 里短暂出现过 166% 占用的 cypher-shell ... RETURN 1 进程------这是 Neo4j 容器健康检查探针刚启动时的瞬时值,几秒后消失,不是异常。看到瞬时高 CPU 先查它是不是探针/健康检查进程,别急着处置。
3. 磁盘治理方法论
3.1 三步定位法
- df 定分区:先看哪个分区紧张,别一上来就全局 find;
- du 逐层下钻 :
du -sh /opt/* | sort -rh,从大到小逐层进入,一般 2~3 层就能锁定大头; - 交叉验证"没人在用" :这是最关键也最容易被跳过的一步,删除前必须凑齐三个证据:
- 进程视角 :
ps -ef | grep <路径>看有没有进程引用(注意容器化的服务要看容器挂载,不能只看宿主机进程); - 时间戳视角 :
stat看目录最后修改时间------本次删除的旧录像数据最后写入停在 17 个月前,这类"超过一个自然年无写入"的数据基本可判死; - 服务启停记录 :结合
systemctl list-unit-files和历史运维记录,确认相关服务已禁用而非只是暂时停了。
- 进程视角 :
3.2 可删文件分级
把 /opt 下的大项按"红黄绿"三档分级,先给出建议再逐项和业务确认:
| 档位 | 本次命中的内容 | 大小 | 判定依据 |
|---|---|---|---|
| 🟢 确认可删 | 旧监控录像存储 ×2 | 70G | 2025-05 后零写入,无进程引用 |
| 🟢 确认可删 | 空目录、已装完的安装包 | <0.1G | 纯遗留 |
| 🟡 谨慎 | 镜像 tar、最近 2 周仍在改动的项目目录 | 1.3G | 重装/在建要用 |
| 🔴 保留 | FunASR 模型目录(2.7G)、运行中服务数据 | --- | 在用 |
分级的好处是把"删错的代价"显性化:🟢 删错了最多丢历史死数据,🟡 删错了要重下镜像重来,🔴 删了服务直接起不来。让业务方对着代价做决策,比让他对着文件名做决策靠谱得多。
4. 清理执行
bash
# 删除前先留证:记录现状,方便前后对比
df -h /opt && du -sh '/opt/旧录像目录(4)' '/opt/旧录像目录(5)'
# 执行删除。注意:目录名带括号,必须用引号包裹,
# 否则括号会被 shell 解释,报 syntax error
rm -rf '/opt/旧录像目录(4)' '/opt/旧录像目录(5)'
# 删除后复核
df -h /opt
成果:
| 指标 | 清理前 | 清理后 |
|---|---|---|
| /opt 已用 | 100G | 30G |
| /opt 可用 | 101G | 170G |
| 使用率 | 50% | 15% |
一次性释放 70G。加上一个月前那次根分区治理(日志截断 + 遗留数据清理),两个分区都回到健康水位。
5. 踩坑记录(共 3 个)
坑 1:磁盘 100% 写满,元凶是 Docker 容器日志膨胀到 47GB
现象:
text
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 96G 96G 20K 100% /
根分区使用率 100%,仅剩 20KB 可用,服务全面异常:文件写入失败、容器随机崩溃、知识图谱服务无法写入索引。
原因:
用 du -sh /var/lib/docker/containers//-json.log 逐个排查容器日志,定位到 Milvus 容器的 JSON 日志文件达 47GB。根因是一条三级链条:
- Milvus 容器内存 limit 设了 3G,但实际 segment 加载需求 3.3G,超出限制;
- 于是 Milvus 每秒刷一条
segment request resource failed[resourceType=Memory]WARN 日志; - Docker 默认
json-file日志驱动没有大小上限,日志无限膨胀。
注意:日志 47GB 只是症状,内存 limit 错配才是根因。只截断日志不调 limit,问题一定会复发。
解决:
bash
# 应急止血:truncate 截断(不要用 rm------文件正被进程持有,rm 不释放空间)
truncate -s 0 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log
# 根治一:日志轮转(写入 daemon.json,需重启 docker 生效)
cat > /etc/docker/daemon.json <<'EOF'
{"log-driver":"json-file","log-opts":{"max-size":"100m","max-file":"3"}}
EOF
systemctl restart docker
# 根治二:内存 limit 提到 4G(高于 segment 加载峰值 3.3G)
# docker-compose.yml 中 milvus 服务 mem_limit: 4g
# 兜底:crontab 每天 3 点清理容器日志
# 0 3 * * * /opt/clean-logs.sh
三个动作各司其职:truncate 是止血,log-opts 上限(单容器最多 300MB)是根治日志,内存 limit 调整是根治根因,crontab 是最后一道保险。
预防:
- 新部署任何容器,compose/run 里必配
log-opts或logging上限,把这条写进部署 checklist; - 内存 limit 不要贴着当前用量设,要按"峰值需求 + 余量"(本次 segment 加载峰值 3.3G,limit 却是 3G);
- 日常巡检清单加一项:
du -sh /var/lib/docker/containers//-json.log,单日志超过 1G 就要警惕。
坑 2:systemctl restart docker 后,插件挂载损坏、容器起不来
现象:
配置日志轮转后执行 systemctl restart docker,随后 Neo4j 容器启动失败,退出码 127,报错:
text
docker: Error response from daemon:
failed to create shim task: ... not a directory: unknown
排查发现宿主机上 bind mount 进容器的那几个插件 jar 文件,全都变成了同名空目录。
原因:
插件 jar 是以 bind mount 方式挂载进容器的。docker daemon 重启过程中挂载点状态损坏,宿主机侧的 jar 文件被同名空目录覆盖。容器启动时尝试把"目录"当"文件"挂载,直接失败。这个坑的隐蔽之处在于:它只影响 bind mount 的文件 (目录挂载不受影响),且只在 daemon 级重启时触发,日常 docker restart <容器> 遇不到。
解决:
bash
# 1. 删掉损坏的空目录
docker stop <neo4j容器>
rm -rf /宿主机插件目录/变成空目录的jar
# 2. 从本地备份重新上传 jar 到原路径
# 3. 重新启动容器
docker start <neo4j容器>
预防:
- 执行
systemctl restart docker(或任何 daemon 级操作)前,对 bind mount 的关键文件(插件 jar、证书、配置)先做一次备份; - daemon 重启后不要只盯主服务,逐个
docker ps -a检查所有容器的退出码,有非 0 退出码的挨个排查。
坑 3:docker stop 批量停容器,两个服务退出码 137 被强杀
现象:
执行 docker stop $(docker ps -q) 批量停所有容器,事后 docker ps -a 检查:大多数容器 Exited (0) 正常退出,但 FunASR 和 Milvus 是:
text
funasr Exited (137) Less than a second ago
lightrag-milvus-1 Exited (137) Less than a second ago
原因:
docker stop 的机制是先发 SIGTERM,默认 10 秒超时后还没退出就 SIGKILL 强杀。退出码 137 = 128 + 9(SIGKILL 信号编号)。FunASR 和 Milvus 这类加载了大模型 / 大索引的内存重型服务,优雅关闭(落盘、断开连接)本来就超过 10 秒,于是被强杀。
对 Milvus 这类有状态服务来说,SIGKILL 意味着没有走完整的落盘流程。多数情况下 Milvus 能在下次启动时自愈,但这严格意义上不算干净关闭,存在数据一致性风险------对数据敏感场景不能赌。
解决:
bash
# 停有状态服务时显式给足超时(60 秒起步,重服务可给 120)
docker stop -t 60 <milvus容器>
docker stop -t 60 <funasr容器>
# 已经被 137 强杀的,启动后观察日志确认无数据损坏
docker start <milvus容器>
预防:
- 停数据库、向量库、消息队列等有状态服务,永远显式
docker stop -t 60,不要裸 stop; - 恢复时注意依赖顺序:先 etcd / MinIO 这类基础设施,再 Milvus / PG / Neo4j,最后应用层。偷懒的做法是
docker compose up -d让 compose 按depends_on自动排序拉起; - 批量操作后必查
docker ps -a的退出码,137 是强杀信号,别当正常退出放过。
6. 总结
成果量化:
| 动作 | 效果 |
|---|---|
| 资源巡检 | CPU 0.6 / 内存 17G available / 容器全健康,确认唯一隐患是磁盘 |
| /opt 清理 | 释放 70G,使用率 50% → 15% |
| 历史治理累计 | 根分区 100% → 58%,/opt 50% → 15% |
三条核心经验:
- 磁盘满的根因往往不是业务数据 。本次 70G 是确认真死的历史录像(时间戳 + 无进程引用双验证),而一个月前 47GB 的真凶是容器日志------治理前先用
du把分区逐层下钻,别盯着业务目录猜。 - 症状和根因要分开治。日志膨胀是症状(truncate + log-opts 根治),内存 limit 错配是根因(调 limit 根治),只做前者必复发。
- 删除的信心来自证据链,不是直觉。进程引用、时间戳、服务启停记录三个证据凑齐,70G 的大删除也可以放心执行;凑不齐就分级列出来,让业务对着删错的代价做决策。
后续计划:把巡检命令组固化成每日 cron 脚本(磁盘水位 >80% 告警),并把"容器必配日志上限 / 有状态服务 stop 必带 -t"写进部署规范,让这两类坑从制度上不再发生。