k8s调用服务异常cannot allocate memory

欢醉2026-07-13 17:35

运行节点环境

8C 64G的节点是个虚拟机，CentOS7.9的系统里面装了k8s的节点。

k8s中启动服务时异常

bash 复制代码

unable to ensure pod container exists: failed to create container for [kubepods burstable pod482364c3-d6e0-40ab-b594-15d6a806ac74] :
mkdir /sys/fs/cgroup/memory/kubepods/burstable/pod482364c3-d6e0-40ab-b594-15d6a806ac74:
cannot allocate memory

从该节点上看可分配内存只用到了一半，这种异常在资源比较紧时经常出现，其实与节点或宿主机硬件资源有关，比如CPU和内存条比较老，因为同等核数和内存的新服务器即使用90%大概率不会出现这种情况。

但还是查了下资料提示是节点内存限制这块的Limit 耗尽 (97%)，服务启动需要2G空间，所以不够。

bash 复制代码

内存限制: 61600 / 63544 MiB (97%)
内存请求: 47070 / 63544 MiB (74%)
实际内存: 30.53 / 62.06 GiB (49%)

原因链：

节点上 Pod 的 memory limits 总和已接近节点 Allocatable 内存上限 (97%)
Kubelet 在创建 sandbox 容器时，需要为容器创建 cgroup 目录并设置内存限制
cgroup 限制无法分配更多内存 → mkdir ... cannot allocate memory
容器创建失败 → Pod 无法启动

为什么实际内存只用 49%，但 limit 97%？

K8s 的 Limit 是预留配额，不是实时使用量；大量 Pod 设置了高 memory limit 但实际未完全使用，一旦这些 Pod 突然增长使用内存，节点可能 OOM。

解决方案

释放 Limit 配额：调低部分 Pod 的 memory limit，或驱逐不需要的 Pod。

或者重启节点，如果是测试环境。