在K8S中,节点状态notReady如何排查?

在kubernetes集群中,当一个节点(Node)的状态变为NotReady时,意味着该节点可能无法运行Pod或不能正确相应kubernetes控制平面。排查NotReady节点通常涉及以下步骤:

1. 获取基本信息

  • 使用kubectl命令行工具获取节点状态:
bash 复制代码
kubectl get nodes
  • 检查具体出现问题的节点详情:
bash 复制代码
kubectl describe node <node-name>

2. 检查事件(Event)

  • 查看节点的事件以了解与NotReady状态相关联的具体错误:
bash 复制代码
kubectl describe node <node-name> | grep -A 10 'Conditions:'

3. 条件(Conditions)分析

  • 在输出中关注Conditions不分,特别时Ready状态及其原因和消息。
  • 不同原因可能包括但不限于:
    • 网络问题:如节点与master通信中断,CNI网络插件问题等。
    • kubelet问题:kubelet进程未运行或配置错误。
    • 容器运行时问题:Docker containerd或其他容器引擎未能启动或报告错误。
    • 资源不足:磁盘空间满、内存或CPU不足等。
    • 节点健康状态探测失败:如kubelet定期向API Server汇报节点状态(通过心跳机制)出现问题

4. 具体排查步骤

  • 网络连通性:确保节点能够正常与集群中的其他组件通信。
  • kubelet服务:检查kubelet服务是否运行正常,以及日志中是否有错误信息。
bash 复制代码
systemctl status kubelet
journalctl -u kubelet -xe
  • 容器运行时:确认容器运行时服务也正在运行,并无错误。
  • 磁盘空间与资源使用 :采用df -hfree -m进行检查节点的磁盘空间和系统资源使用情况。
  • 健康检查和PLEG:Kubelet有一个Pod生命周期事件Generator(PLEG),负责监测Pod的生命周期。若PLEG停滞可能会导致节点NotReady,查看kubelet的Pod状态。
  • CNI插件:确认网络插件工作正常,有时网络配置或插件故障也会导致节点NotReady。
  • 操作系统健康:检查操作系统层面是否有内核警告、硬件故障或安全组规则阻止必要的端口通信。

5. 恢复操作

  • 根据排查结果采取相应措施,例如重启Kubelet服务、清理磁盘空间、修复网络配置、更新容器运行时等。
  • 如果需要,也可以尝试将节点从集群中删除并重新加入,已出发重新初始化过程:
bash 复制代码
kubectl drain <node-name> --delete-local-data --force --ignore-daemonsets
kubectl delete node <node-name>
# 确保节点问题已解决后...
kubectl uncordon <node-name>

综上所述:

在实际环境中,排查过程需结合具体情况灵活调整,并可能深入的学习kubernetes的内部工作机制及特定版本的特性。

相关推荐
憨堡包^—^43 分钟前
Docker —— MySQL主从复制集群
mysql·docker·容器
Andy杨3 小时前
20250712-1-Kubernetes 监控与日志管理-K8s日志管理与维护_笔记
笔记·容器·kubernetes
蝸牛ちゃん4 小时前
云计算三大服务模式深度解析:IaaS、PaaS、SaaS
云原生·系统架构·云计算·软考高级·saas·paas·iaas
阿里云云原生4 小时前
GPU 降成本免运维,睿观 AI 助手选择函数计算
云原生·serverless
KKKingWei6 小时前
Kubernetes Dashboard UI 部署安装
云原生·容器·kubernetes
麟城Lincoln7 小时前
【Linux-云原生-笔记】系统引导修复(grub、bios、内核、系统初始化等)
linux·笔记·云原生·bios·grub·系统修复·系统引导
KubeSphere 云原生8 小时前
云原生周刊:镜像兼容性
云原生
蓝天居士8 小时前
docker常用命令集(2)
docker·容器
panamera128 小时前
云端docker小知识
运维·docker·容器
退役小学生呀19 小时前
十一、K8s细粒度权限管理RBAC
linux·docker·云原生·容器·kubernetes·k8s