Pod启动失败: /var/lib/kubelet/xxx/kube-api-access/ :no space left on device

一、问题现象

Pod调度至master01节点后,始终无法正常启动,K8s事件日志持续报出挂载卷失败错误,核心报错信息如下:

bash 复制代码
Warning  FailedMount  3m56s  kubelet            MountVolume.SetUp failed for volume "kube-api-access-gv4wg" : write /var/lib/kubelet/pods/44996eb7-d911-4748-ba01-cfe0a43da87e/volumes/kubernetes.io~projected/kube-api-access-gv4wg/..2026_03_19_06_31_37.2528622089/ca.crt: no space left on device
Warning  FailedMount  3m55s  kubelet            MountVolume.SetUp failed for volume "kube-api-access-gv4wg" : write /var/lib/kubelet/pods/44996eb7-d911-4748-ba01-cfe0a43da87e/volumes/kubernetes.io~projected/kube-api-access-gv4wg/..2026_03_19_06_31_38.709114551/token: no space left on device

通过以下命令初步排查节点资源,结果显示节点物理资源无异常:

bash 复制代码
# 排查节点根分区磁盘容量及使用率
df -h /
# 输出结果:
# Filesystem      Size  Used Avail Use% Mounted on
# /dev/sda1       197G   21G  168G  12% /

# 排查节点根分区inode使用率
df -i /
# 输出结果:
# Filesystem       Inodes  IUsed    IFree IUse% Mounted on
# /dev/sda1      13107200 170980 12936220    2% /

# 排查kubelet pods目录文件数量
ls -l /var/lib/kubelet/pods | wc -l
# 输出结果:17

排查结论:

  • 节点根分区磁盘容量总197G,已用21G,使用率12%,磁盘空间充足;
  • 节点inode使用率仅2%,无inode耗尽问题;
  • /var/lib/kubelet/pods目录文件数量仅17个,无异常文件堆积。

二、根因分析

此问题并非节点物理磁盘/inode资源耗尽,而是Pod内存资源限制配置错误导致的"逻辑空间不足":

  1. K8s中Pod的resources.limits.memory配置若未指定单位(如仅写512),会被默认解析为512字节(而非预期的512MB),该限额远低于Pod正常运行及挂载卷所需的最小内存;
  2. kube-api-access卷是K8s自动为Pod创建的投影卷(包含ca.crt、token等用于访问API Server的核心文件),挂载时需占用少量内存空间,因Pod内存限额仅512字节,触发内存耗尽,系统层面表现为"no space left on device";
  3. 补充:若配置为512mi(小写mi),K8s会识别为无效单位,同样会导致内存限额解析异常,标准单位应为Mi(1Mi=1024×1024字节)。

三、解决方案

1. 修正Pod内存资源限制配置

编辑Pod所属的控制器(以StatefulSet为例,Deployment操作逻辑一致):

bash 复制代码
kubectl edit statefulset nacos 

找到spec.template.spec.containers下的资源限制段,将错误配置:

yaml 复制代码
resources:
  limits:
    memory: 512  # 错误:无单位,默认512字节
  requests:
    memory: 512  # 错误:无单位,默认512字节

修改为正确配置(添加标准单位Mi):

yaml 复制代码
resources:
  limits:
    memory: 512Mi  # 正确:512兆字节,满足Pod运行及卷挂载需求   # 应该大写开头
  requests:
    memory: 256Mi  # 建议配置requests,值≤limits,提升调度合理性
相关推荐
码事漫谈3 小时前
当公司不久后变成冒险者公会,我担心什么
后端
Csvn4 小时前
Nginx 负载均衡进阶与健康检查:哈希、keepalive 池与 DNS 自愈
后端·nginx
皮皮林5514 小时前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设5 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
行百里er7 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
火山引擎和TA的超级拍档们7 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
源动力技术栈8 小时前
C# 集合类型全览:从 List<T> 到 FrozenDictionary,配一组实测数据
后端
aleimu8 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
货拉拉技术8 小时前
AI Agent 如何进入实时交易系统:货拉拉的三个实践与一套工程方法论
后端·架构·agent
我是谁的程序员8 小时前
iOS 性能分析在 Windows 上怎么做,用 KXBuild 的 kxdevice 替代 Instruments
后端·ios