k8s运行运行pod报错超出文件描述符表限制

树下一少年2024-11-28 9:12

1.问题描述

运行pod超过文件描述符表

复制代码

unable to allocate file descriptor table - out of memory/opt/COMMAND.sh: line 9:

2.查看设备的文件描述符限制

操作前一定要先查询这个值，2097152这个值即为我们可设置的最大值，超过这个值后将无法登录，即使只超过1，并且一定不能设置为unlimited

个人建议先给最大值的一半，如果是不够再适量往上扩（这个值的配置需要尤其慎重，一旦有差错便会无法登录，需要进入救援模式操作）

复制代码

cat /proc/sys/fs/file-nr    #已分配的  分配后释放的  最大的
10816   0       2097152
cat /proc/sys/fs/nr_open
2097152
cat /proc/sys/fs/file-max
2097152

3.编辑/etc/security/limits.conf

添加两行，并重启systemd-logind或者重启服务器

复制代码

root soft nofile 1048576
root hard nofile 1048576


systemctl restart systemd-logind

4.容器运行时是containerd，所以还需要改containerd的启动文件（docker同理）

是k8s集群的遇到这个问题情况下，master和所有node都需要修改containerd/docker的这部分配置

复制代码

vim /etc/systemd/system/containerd.service
#找到以下部分内容，修改值和上面几步的值一致
LimitNPROC=1048576
LimitCORE=1048576
LimitNOFILE=1048576

5.重启containerd，再次运行后已正常