监控告警生产环境的服务器磁盘分区使用率大于90%,进入服务器查看Docker 的 overlay2
存储驱动目录中占用很大,很可能是某个容器一直在打印日志,所以需要定位到是哪个容器,然后进行进一步排查。
然后进入到overlay2中查看是哪个目录占用较大,使用du命令进行排序定位到
#从小到大排序
du -sh * | sort -h
#从大到小的话 加上-r
du -sh * | sort -rh
定位到如下两个目录
接下来需要找到 581d0ca05a736dd569ac3420f4d8d5e7ae1354c7690d855984aeb699f4f69a0b和
d84e4f8948ad4745a4884deee42b95330eceb5b846aab93bb3a750f91b03cc6e 是属于哪个容器
使用命令
#逻辑是遍历每个容器ID,查看那个容器ID包含该层,然后把容器ID打印出来
for container_id in $(docker ps -a -q); do if docker inspect $container_id | grep -q '581d0ca05a736dd569ac3420f4d8d5e7ae1354c7690d855984aeb699f4f69a0b'; then echo "该层存在于容器: $container_id"; fi; done
找到容器ID后可以使用
docker ps -a | grep 6fb0cf947bfd
查看该容器的详细信息 如图
进入容器查看到有个日志文件大小已经超过600G,可以排查一下原因,重启容器可以直接恢复磁盘。