Kubernetes 节点磁盘空间空了怎么办?解决 containerd overlay 100%问题

Kubernetes 节点磁盘空间空了怎么办?解决 containerd overlay 100%问题

当 Kubernetes 集群中的节点出现如下错误:

bash 复制代码
MountVolume.SetUp failed for volume xxx: no space left on device

或者执行 df -h 显示:

复制代码
/dev/mapper/centos-root   50G   50G   0G  100% /
overlay                   50G   50G   0G  100% /run/containerd/io.containerd.runtime...

这意味着 根分区 / 空间已满,containerd 依赖 overlayfs 已无法写入,导致 Pod 创建失败。


一、问题原因

  1. containerd 将所有容器 rootfs overlay 挂载到 / 分区
  2. /var/lib/containerd, /var/lib/kubelet 空间大量占用
  3. /var/log 系统日志、Pod 输出日志积历

二、快速解决方案

清理 containerd 無用容器和镜像

bash 复制代码
# 清理容器
ctr -n k8s.io containers ls
ctr -n k8s.io containers rm $(ctr -n k8s.io containers ls -q)

# 清理镜像
ctr -n k8s.io images ls
ctr -n k8s.io images rm $(ctr -n k8s.io images ls -q)

清除 kubelet 临时 pod 目录

bash 复制代码
systemctl stop kubelet
rm -rf /var/lib/kubelet/pods/*
systemctl start kubelet

清除系统日志

bash 复制代码
journalctl --vacuum-time=1d
find /var/log -type f -exec truncate -s 0 {} \;

三、持久解决方案:将 containerd & kubelet 数据目录移动到大盘 /home

步骤 1: 停止服务

bash 复制代码
systemctl stop kubelet
systemctl stop containerd

步骤 2: 移动数据 + 设置软连接

bash 复制代码
mv /var/lib/containerd /home/containerd_data
mv /var/lib/kubelet /home/kubelet_data

# 建立软连接
ln -s /home/containerd_data /var/lib/containerd
ln -s /home/kubelet_data /var/lib/kubelet

步骤 3: 重启服务

bash 复制代码
systemctl start containerd
systemctl start kubelet

步骤 4: 确认解决

bash 复制代码
df -h /
kubectl get nodes

四、建议配套

建议配合 cron 时间件定期清理

bash 复制代码
cat > /usr/local/bin/clean-logs.sh <<EOF
#!/bin/bash
journalctl --rotate
journalctl --vacuum-time=1d
find /var/log -type f -exec truncate -s 0 {} \;
EOF

chmod +x /usr/local/bin/clean-logs.sh
echo "0 3 * * * root /usr/local/bin/clean-logs.sh" >> /etc/crontab

如果需要 containerd root 目录指定

toml 复制代码
# /etc/containerd/config.toml
root = "/home/containerd_data"
state = "/home/containerd_state"
bash 复制代码
systemctl daemon-reexec
systemctl restart containerd

如果需要修改 kubelet 启动参数(如使用 systemd):

编辑/etc/systemd/system/kubelet.service.d/10-kubeadm.conf中加入:

bash 复制代码
--root-dir=/home/kubelet_data

结论

问题 原因 解决方案
节点 / 分区 100% containerd + kubelet + logs 占满 移动到 /home
Pod 无法创建 overlay rootfs 写入失败 重启服务释放空间
kubelet 出现 FailedMount pod 目录无法 mkdir 移目录 + 空间利用

相关推荐
今晚务必早点睡25 分钟前
从零到上线:Docker、Docker Compose 与 Runtime 安装部署全指南(含实战示例与应用场景)
运维·docker·容器
zyplanke2 小时前
Kubernetes(四):Service
云原生·容器·kubernetes·k8s
掘金-我是哪吒3 小时前
分布式微服务系统架构第169集:1万~10万QPS的查当前订单列表
分布式·微服务·云原生·架构·系统架构
attitude.x4 小时前
微服务架构的五大核心挑战与应对策略
微服务·云原生·架构
虚伪的空想家4 小时前
K8S删除命名空间卡住一直Terminating状态
云原生·容器·kubernetes·删除·卡顿·delete·命名空间
衍余未了6 小时前
k8s除了主server服务器可正常使用kubectl命令,其他节点不能使用原因,以及如何在其他k8s节点正常使用kubectl命令??
云原生·容器·kubernetes
Clownseven6 小时前
Mattermost教程:用Docker搭建自己的开源Slack替代品 (团队聊天)
docker·容器·开源
❀͜͡傀儡师6 小时前
Docker部署Drawnix开源白板工具
docker·容器·开源·drawnix
❀͜͡傀儡师6 小时前
Docker部署Lunalytics开源监控工具
docker·容器·开源·lunalytics
To_再飞行6 小时前
K8s 存储配置资源
linux·云原生·容器·kubernetes