K8s节点频繁NotReady

K8s节点频繁NotReady

查看平台告警

相关日志

describe node 关键字 :OOM、

etcd 关键字 :new el

apiserver 关键字 : etcdserver: no leader

message 关键字 :update node status

kubelet 关键字

metallb 关键字:grep -E 'NodeLeave|NodeJoin'

https://blog.csdn.net/hezuijiudexiaobai/article/details/130206736

监控

rate(node_network_receive_drop_total{}[5m])

rate(node_network_transmit_drop_total{}[5m])

rate(node_netstat_Tcp_RetransSegs[3m])

  1. rate(node_network_receive_drop_total{}[5m]):这个指标表示过去5分钟内,网络设备接收到但因为某些原因(如缓冲区满)而丢弃的数据包的速率。这个指标可以帮助识别网络拥塞或硬件问题,因为过多的丢包通常意味着网络设备无法处理传入的数据负载。

  2. rate(node_network_transmit_drop_total{}[5m]):这个指标表示过去5分钟内,网络设备在尝试发送时丢弃的数据包的速率。这可能是由于硬件问题、网络拥塞或配置错误导致的。监控这个指标有助于识别和解决网络传输问题。

  3. rate(node_netstat_Tcp_RetransSegs[3m]):这个指标表示过去3分钟内,TCP协议因为数据传输错误或超时而需要重新传输的数据段的速率。TCP重传通常意味着网络不稳定或存在延迟问题,频繁的重传可能会影响网络性能并增加延迟。

网络

ifconfig bond0

cat /proc/net/bonding/bond0

tc qdisc show dev bond0

dmesg -T |grep -i "link" |grep -v IPv6

grep -i "link" /var/log/message

系统层面 进程

最近有没有对节点做过什么操作,部署安全软件之类的

top - 整体情况

ps -ef - 特殊的进程

调整超时时间

1、etcd :https://blog.csdn.net/hezuijiudexiaobai/article/details/130968221

2、kube-controller-manager:https://blog.csdn.net/hezuijiudexiaobai/article/details/143203166

探测脚本

python 起一个脚本

csharp 复制代码
python -m SimpleHTTPServer 8000 
csharp 复制代码
nohup bash -c "while true; do date; if ! timeout 1 curl -s -o /dev/null http://172.30.30.101:30081; then echo failed; fi; sleep 1; done" > curl.log 2>&1 &
csharp 复制代码
nohup ping -i 0.1 -D 172.30.30.101 > ping_output.txt & 

转为为时间

csharp 复制代码
date -d @1729696429
相关推荐
斯普信专业组4 小时前
K8s企业应用之容器化迁移
云原生·容器·kubernetes
颜淡慕潇4 小时前
【K8S系列】Kubernetes 中 Service IP 分配 问题及解决方案【已解决】
后端·云原生·容器·kubernetes
陈小肚5 小时前
k8s 1.28.2 集群部署 Thanos 对接 MinIO 实现 Prometheus 数据长期存储
kubernetes·prometheus·thanos
YCyjs5 小时前
Kubeadm搭建k8s
容器·kubernetes
摇曳 *5 小时前
Kubernetes:(三)Kubeadm搭建K8s 1.20集群
云原生·容器·kubernetes
网络笨猪5 小时前
K8S 容器可视化管理工具-kuboard 监控管理工具搭建
云原生·容器·kubernetes
陈小肚5 小时前
k8s 1.28.2 集群部署 NFS server 和 NFS Subdir External Provisioner
云原生·容器·kubernetes
ps酷教程6 小时前
docker基础篇(尚硅谷)
运维·docker·容器
CloudJourney8 小时前
初始Docker
运维·docker·容器
丶21368 小时前
【云原生】云原生后端详解:架构与实践
后端·云原生·架构