记录一次 k8s 节点内存不足的排查过程

背景:前端服务一直报404,查看k8s日志,没发现报错,但是发现pods多次重启。

排查过程:

  1. 查看pods日志,发现日志进不去。
bash 复制代码
kubectrl logs -f -n weave pod-name --tail 100
  1. 查看pod describe
bash 复制代码
kubectl describe po -n weave senseweave-capability-gateway-6c5485f7bf-xxxx
  • Exit Code 为 137:通常表示该容器被 Linux OOM(Out-of-Memory)杀手终止。这通常发生在 Pod 超过了内存限制,或者运行该 Pod 的节点内存不足时。
  • Restart Count 为2,表示最近pod重启了2次
  • 当前pods没有指定 limit 资源

    原因分析:如果pod不指定 limit, 多个pod间会存在资源争抢,并且不指定资源的pod,在oom的时候,会优先被 Terminal 掉。
  1. 查看当前节点的内存使用情况
bash 复制代码
 kubectl top nodes --no-headers | sort -k4 -nr
 # 解释:
 #  --no-headers 不显示表头,
 #  sort -k4 -nr 按照第四列降序排序
 #    -n 按照数值排序
 #    -r 反向排序

23-8 节点的内存已经快满了。

pods 是通过 deployment 部署的,多个节点都有亲和性标签,但是 pod 还是部署到了 23-8 节点上。

分析原因可能是,不指定 limit 导致的

解决办法:

deployment 指定 limit 资源大小,重启 pods 。

相关推荐
cui_win1 小时前
Minikube 安装与使用详细指南(Centos7 踩坑版)
docker·kubernetes·minikube·centos7·升级内核
似水流年 光阴已逝2 小时前
从Jar包到K8s上线:全流程拆解+高可用实战
java·kubernetes·jar
半梦半醒*4 小时前
k8s——资源管理
linux·运维·docker·容器·kubernetes·自动化
首发运维6 小时前
certbot+shell+阿里云api+k8s实现自动化更新SSL证书
阿里云·kubernetes·自动化
summer_west_fish6 小时前
K8S Traffic Monitoring Dashboard Architecture Design
云原生·容器·kubernetes
❀͜͡傀儡师9 小时前
管理k8s的资源类型(PV/PVC)的脚本
云原生·容器·kubernetes
人间打气筒(Ada)11 小时前
yum安装k8s集群----基于centos7.9
java·容器·kubernetes
小任今晚几点睡13 小时前
kubernetes的微服务
微服务·容器·kubernetes
虚伪的空想家14 小时前
实战:Flannel为网络CNI底座的K8S接入Cilium CNI
网络·容器·kubernetes·k8s·flannel·cni·cilium
KubeSphere 云原生1 天前
云原生周刊:在 Kubernetes 上运行机器学习
云原生·容器·kubernetes