Kubernetes 节点删除后还有残留?drain、reset 与集群销毁重建全流程

集群搭起来只是开始,真正的日常是「把一台节点安全摘下来」「把整套实验环境销毁重来」。这篇按节点生命周期走完全链路:加入 → 维护 → 摘除 → 重置 → 销毁重建,重点拆解 kubeadm reset 回显里那三样「不清理」的东西------实验重来时节点一直 NotReady,八成栽在这里。

本文概要:

项目 内容
文章主题 节点加入、drain 维护、删除与 reset 重置、整集群销毁与重建的完整命令链路
所属类别 云计算 → Kubernetes → 节点与集群生命周期管理
知识关键字 kubectl drain · delete node · kubeadm reset · uncordon · kubeadm-config · api-resources

主线是「一条生命周期 + 两个关键工具」:前三章走节点从加入到维护的路,四、五、六章讲摘除与销毁,第七章用销毁前备份的配置文件把集群原样拉起来。文中命令名均标注英文全称(如 drain = 抽干),完整清单见文末《附:命令英文全称速查表》。

一、生命周期总览与节点规划

一台节点从进集群到退出,管理的动作只有六类,每类一条命令:

阶段 动作 命令
加入 注册进集群 kubeadm join
查看 看状态与详情 kubectl get nodes / describe node
维护 抽干业务 Pod kubectl drain
摘除 删除节点记录 kubectl delete node
重置 节点本机清现场 kubeadm reset
重建 复用配置重来 kubeadm init --config

本文节点规划(沿用 1.30.2 三节点集群,搭建过程见姊妹篇《kubeadm 搭 Kubernetes 1.30 集群实录》):

节点 IP 角色
master30.zhbops.cloud 10.1.8.30 control-plane
worker31.zhbops.cloud 10.1.8.31 worker
worker32.zhbops.cloud 10.1.8.32 worker

二、kubectl 命令模型与节点查看

kubectl 的命令骨架就一条:kubectl 动作 资源类型 [资源名]。get nodes、get pods 都是这条骨架的实例,资源类型还带官方简写:

2.1 kubectl 用法速查表

参数 / 写法 含义 英文原意
kubectl 集群命令行客户端,动作+资源类型+资源名 Kubernetes Control(CLI)
action 动作:get / describe / delete / drain ... 要对资源做什么
resource-type 资源类型全名或简写:nodes / no resource type
resource-name 资源名,可省略表示列出全部 resource name
api-resources 列出集群支持的全部资源类型与简写 API resources
bash 复制代码
# 查资源清单(简写 SHORTNAMES 列就是能用的缩写)
root@master30:~# kubectl api-resources
NAME                      SHORTNAMES   APIVERSION       NAMESPACED   KIND
......
nodes                     no           v1               false        Node
......
pods                      po           v1               true         Pod
.......

2.2 查看节点

bash 复制代码
root@master30:~# kubectl get nodes
NAME                  STATUS   ROLES           AGE   VERSION
master30.zhbops.cloud   Ready    control-plane   37h   v1.30.2
worker31.zhbops.cloud   Ready    <none>          36h   v1.30.2
worker32.zhbops.cloud   Ready    <none>          36h   v1.30.2

# 单节点详情:输出很长,抓三段重点看
root@master30:~# kubectl describe node worker31.zhbops.cloud

describe node 的输出里优先看三段:Conditions (内存 / 磁盘 / PID 压力等健康状态)、Non-terminated Pods (节点上还跑着哪些 Pod)、Events(最近发生了什么)。排障时 Events 往往一句话就定位问题。

三、节点加入集群:join 与 token

worker 加入集群靠一条 join 命令,它由两部分凭据组成:

3.1 join 用法速查表

参数 含义 英文原意
kubeadm join 以 worker 身份加入集群 join,加入
<master>:6443 master 的 apiserver 地址与端口 API server 入口
--token 引导令牌,用于首次 TLS 握手身份认证 bootstrap token
--discovery-token-ca-cert-hash master CA 证书的 sha256 哈希,防冒牌 master discovery token CA cert hash
bash 复制代码
root@worker31:~# kubeadm join 10.1.8.30:6443 --token mi0yt8.1tzza4q64dr8y3pc \
    --discovery-token-ca-cert-hash sha256:5606e09618330aee8859abe3ea4cd8734f9b540630048a6e1c3aaf6c54d486fd
[preflight] Running pre-flight checks
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

token 是 init 时自动生成的引导令牌,默认 24 小时过期。没保存 init 输出、或 token 过期了,在 master 上现打一条新命令:

bash 复制代码
root@master30:~# kubeadm token create --print-join-command
kubeadm join 10.1.8.30:6443 --token dzpuca.8lqxqqydwskroabx --discovery-token-ca-cert-hash sha256:5606e096...

⚠️ 注意 :token create 只能在 master 上执行,worker 没有这个权限------在 worker 上敲只会报权限错误。

四、节点维护与摘除:cordon 与 drain

4.1 kubectl drain 用法速查表

参数 含义 英文原意
kubectl drain <节点> 抽干节点:标记不可调度 + 驱逐全部业务 Pod drain,抽干
--ignore-daemonsets 忽略 DaemonSet 管的 Pod(它们本来就该每节点一份) ignore daemonsets
--force 连「不由控制器管理」的裸 Pod 也一起驱逐 force
kubectl uncordon <节点> 解除维护标记,恢复调度 uncordon,解除隔离

drain 做三件事:先把节点打上 cordon 标记(不再接新 Pod),再把业务 Pod 逐个驱逐到别的节点重建,最后报告 drained。DaemonSet 管的 Pod(calico-node、kube-proxy)随节点而生,驱逐它们没有意义,所以必须带 --ignore-daemonsets 放行:

bash 复制代码
root@master30:~# kubectl drain worker31.zhbops.cloud --ignore-daemonsets
node/worker31.zhbops.cloud cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/calico-node-v8jdn, kube-system/kube-proxy-27vl2
evicting pod kube-system/calico-kube-controllers-7cb4fd5784-jx2xl
pod/calico-kube-controllers-7cb4fd5784-jx2xl evicted
node/worker31.zhbops.cloud drained

# 状态多出 SchedulingDisabled:还在集群里,但不再接新 Pod
root@master30:~# kubectl get nodes
NAME                  STATUS                     ROLES           AGE   VERSION
worker31.zhbops.cloud   Ready,SchedulingDisabled   <none>          41h   v1.30.2

# 只是维护(重启机器、换硬件)时,干完活解除标记即可
root@master30:~# kubectl uncordon worker31.zhbops.cloud

drain 与 delete 的分工:drain 只抽干不删除 ,节点记录还在集群里;确定要把节点踢出集群时,才轮到下一章的 delete node。

五、删除节点与 kubeadm reset

5.1 reset 用法速查表

参数 / 动作 含义 英文原意
kubeadm reset 撤销本机 kubeadm 的全部改动,回到装包前的状态 reset,重置
-f 跳过确认直接执行 force
kubectl delete node <名> 从集群里删除节点记录(在 master 上执行) delete node

删一个节点的完整三步------先抽干、再删记录、最后在被删节点本机清现场:

bash 复制代码
# 1. 抽干(上一章的 drain)
root@master30:~# kubectl drain worker31.zhbops.cloud --ignore-daemonsets

# 2. 删掉节点记录
root@master30:~# kubectl delete node worker31.zhbops.cloud
node "worker31.zhbops.cloud" deleted

# 3. 登录被删的节点本机重置
root@worker31:~# kubeadm reset -f
[reset] Deleted contents of the etcd data directory: /var/lib/etcd
[reset] Stopping the kubelet service
[reset] Unmounting mounted directories in "/var/lib/kubelet"
[reset] Deleting contents of directories: [/etc/kubernetes/manifests /var/lib/kubelet /etc/kubernetes/pki]
[reset] Deleting files: [/etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf ...]

reset 的回显就是一份清理清单,但它自己明确交代了三样不管:
⚠️ 注意 :reset 不清理 CNI 配置、iptables / IPVS 规则和 kubeconfig。实验重来时如果不清 /etc/cni/net.d,节点重新 join 后网络组件反复重启、状态卡在 NotReady------这是重置流程里最容易翻车的一步。

IPVS 模式的集群还要手工清 IPVS 表:ipvsadm --clear。

六、销毁整个集群:先 worker 后 master

销毁顺序有讲究:先删所有 worker,最后拆 master ------master 上存着集群的全部记录,拆它之前得先把成员清干净,并且顺手备份集群配置:

bash 复制代码
# ---- 各 worker:抽干(--force 连裸 Pod 一起)→ 删记录 → 本机重置 ----
root@master30:~# kubectl drain worker31.zhbops.cloud --ignore-daemonsets --force
root@master30:~# kubectl drain worker32.zhbops.cloud --ignore-daemonsets --force
root@master30:~# kubectl delete node worker31.zhbops.cloud worker32.zhbops.cloud
root@worker31:~# kubeadm reset -f
root@worker32:~# kubeadm reset -f

# ---- master:先备份 kubeadm-config,再自删 ----
# 直接取 data 里的 ClusterConfiguration 字符串,干净、免手工修剪缩进
root@master30:~# kubectl -n kube-system get cm kubeadm-config \
    -o jsonpath='{.data.ClusterConfiguration}' > kubeadm.yml
root@master30:~# head -2 kubeadm.yml
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
# 这份 yml 里就是重建要用的全部参数:kind: ClusterConfiguration / etcd.local.dataDir
#   imageRepository / kubernetesVersion / networking(podSubnet 10.224.0.0/16)

root@master30:~# kubectl delete node master30.zhbops.cloud
root@master30:~# kubeadm reset -f
root@master30:~# rm -fr .kube/

⚠️ 注意 :别把 kubectl get cm kubeadm-config -o yaml 导出的整份 ConfigMap 直接当 --config 用------外层还套着 data: 和 ClusterConfiguration: | 多行字符串,后面又跟着 ClusterStatus 段,kubeadm init 解析必然失败。若要从整份 yaml 里手工抠,得去掉开头三行 wrapper、把整段缩进拍平、再删掉 ClusterStatus 块------行号还随集群不同而变,不如上面那条 jsonpath 稳妥。

这份编辑过的 kubeadm.yml 是重建的全部本钱:版本、Pod 网段、Service 网段、镜像仓库全在里面。

七、重建集群与最终验证

bash 复制代码
# 用备份配置一条命令重建(参数全在 yml 里,不用重新敲一长串)
root@master30:~# kubeadm init --config kubeadm.yml

# 等价的老写法对照
root@master30:~# kubeadm init --kubernetes-version=v1.30.2 --pod-network-cidr=10.224.0.0/16 --image-repository hub.zhbops.cloud/kubernetes

# 收尾三件与首装一致:凭据 → Pod 网络 → 加节点
root@master30:~# mkdir -p $HOME/.kube
root@master30:~# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
root@master30:~# kubectl apply -f calico.yaml
root@worker31:~# kubeadm join 10.1.8.30:6443 --token ky95b9.... --discovery-token-ca-cert-hash sha256:...
root@worker32:~# kubeadm join 10.1.8.30:6443 --token ky95b9.... --discovery-token-ca-cert-hash sha256:...

最终验证两层:节点全 Ready、系统 Pod 全 Running:

bash 复制代码
root@master30:~# kubectl get nodes
NAME                  STATUS   ROLES           AGE   VERSION
master30.zhbops.cloud   Ready    control-plane   9h    v1.30.2
worker31.zhbops.cloud   Ready    <none>          8h    v1.30.2
worker32.zhbops.cloud   Ready    <none>          8h    v1.30.2

root@master30:~# kubectl get pods -A
NAMESPACE     NAME                                          READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-7cb4fd5784-jx2xl      1/1     Running   0          11m
kube-system   calico-node-4b6s8                             1/1     Running   0          11m
kube-system   coredns-66f779496c-4j88h                      1/1     Running   0          13m
kube-system   kube-apiserver-master30.zhbops.cloud          1/1     Running   0          13m
.......

节点 Ready 有几个硬前提,重建后哪个没满足就查哪一环:

前提 检查方式
网络配置完成 Calico 全部 Running,/etc/cni/net.d 无残留脏配置
容器运行时可用 systemctl status containerd;crictl info 能返回不报 unknown service
kubelet 已启动 systemctl status kubelet,journalctl -u kubelet -n 50 看报错
内核模块与转发 `lsmod
swap 关闭 swapoff -a 且 fstab 注掉 swap 行
SELinux 关闭 Ubuntu 默认无此问题;RHEL 系 getenforce

📚 参考资料(官方文档 · 中英双语)

中文版

英文原版

附:命令英文全称速查表

命令 / 缩写 英文全称 / 原意 作用
kubectl Kubernetes Control(CLI) 集群命令行客户端
drain drain 抽干节点(cordon + evict)
cordon cordon,隔离线 标记节点不可调度
uncordon un + cordon 解除不可调度标记
evict evict 驱逐 Pod 到其他节点
kubeadm Kubernetes Admin 官方集群引导工具
reset reset 撤销 kubeadm 全部改动
api-resources API resources 集群支持的资源类型清单
DaemonSet daemon set 每节点一份的后台进程集合
CIDR Classless Inter-Domain Routing 无类别域间路由

总结:节点与集群的生命周期管理就六个动词------join 进来、drain 抽干、delete 摘除、reset 清现场、备份 kubeadm-config、init --config 重建;记住 drain 与 delete 的分工、reset 留下的三样尾巴(CNI、iptables/IPVS、kubeconfig),销毁重建就能一路顺畅。


📚 同系列 · Kubernetes 集群实战(其余篇目见博客主页)

blog.csdn.net/nbsxl

  • 本篇姊妹篇:《一份 kubeconfig 管两个集群:Namespace 隔离与 kubectx 切换速查手册》
  • 本篇姊妹篇:《手敲 30 条命令太累?auto_deploy_kubernetes 一键拉起 K8s 集群实录》
  • 前置篇:《kubeadm 搭 Kubernetes 1.30 集群实录:containerd、Calico 与 4 个现场问题》

💬 你 reset 之后重新 join 遇到过节点卡 NotReady 吗?评论区贴出 kubectl get nodes 的状态,一起看。

相关推荐
正在走向自律1 小时前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
AI开源软件1 小时前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office
csdn_aspnet6 小时前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
瑞克-桑切斯1 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
遇雪长安1 天前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器
csdn_aspnet1 天前
【Docker 攻略】MySQL 安裝篇
运维·mysql·docker·容器
艺杯羹1 天前
ufw 已 active,Docker 端口却仍对外开放的复盘
运维·docker·容器
Z21-X1 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
IT大白鼠2 天前
彭大帅的AI运维助手第 10 篇——K8s 集群探针升级记:从服务级到业务级
运维·kubernetes·aiops·彭大帅