k8s集群异常恢复

前提、我自己的k8s采用的是单master节点+两个从节点部署,我针对单master情况进行恢复说明

场景一:正常开关虚拟机,可直接重启kubelet进行恢复

1、1、一般重启后三个节点都需要检查,输入命令检查kubelet:

复制代码
systemctl status kubelet

2、状态不正常,输入命令启动kubelet:

复制代码
systemctl restart kubelet

3、正常情况下,启动kubelet后,节点一般都会正常,除非etcd异常

4、输入查看命令:kubectl get pod -A,如果不能正常回显则说明异常

5、再次尝试手动恢复(虚拟机正常开关机情况下,重启能解决95以上的异常问题,如果不能正常,再重启一次),重启kubelet,输入命令:

复制代码
systemctl restart kubelet

场景二:一般服务器直接断电或者异常,都很大机率造成etcd异常。所以一般都需要提前对etcd文件备份才行,备份命令

复制代码
mkdir -p  /root/etcd/backup
#不知道路径可以查找etcd数据目录
find / -type d -name member
cd /root/etcd/backup
rm -rf *
echo "备份etcd"
cp -R -c /var/lib/etcd/member/* ./

恢复命令:

复制代码
cd /var/lib/etcd/member
rm -rf *
cp -R -c /root/etcd/backup/* ./
systemctl restart kubelet
systemctl status kubelet
#查看pod状态,等待几分钟
kubectl get pod -A

后续:定位etcd异常方法

可以用命令

复制代码
netstat -anp | grep 2379

如果有回显该端口提供了服务,则说明正常

另外的方法就是查看kube-apiserver服务的docker日志,查看命令:

复制代码
docker ps -a | grep kube-apiserver

命令执行后再查看其日志:

复制代码
docker logs --tail 500 -f 容器id

如果回显存在2379端口连接不上,则说明etcd出问题了

相关推荐
人生!?2 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
心之王者7163 小时前
Linux 进程信号:从产生、阻塞到捕捉与子进程回收
linux·服务器·网络
AndreaYYmm3 小时前
日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
linux·shell
爱吃香菜的初学者4 小时前
二十五.Linux——epoll
linux·运维·服务器
少司府4 小时前
嵌入式外设篇(一)GPIO·一:认识GPIO
linux·单片机·嵌入式硬件·mcu·系统·rtos·嵌入式软件
xbzb5 小时前
Kubernetes 节点删除后还有残留?drain、reset 与集群销毁重建全流程
容器·kubernetes·kubectl·集群·reset·drain
无奈笑天下6 小时前
银河麒麟上DHCP无法获取IP地址问题处理
linux·运维·服务器·网络协议
正在走向自律6 小时前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
蜗牛一步步往上爬6 小时前
第六章 使用Linux环境变量
linux·运维
AI开源软件6 小时前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office