高效运维!K8s 多节点自动安全排空

本文首发:SRE运维手记 ,作者亦零一

有时候,部署一套 K8s 集群相对简单和轻松,但是在集群维护过程中,往往需要遵循一些规则和流程,否则可能会出现不可预知的故障,然而,一旦建立了规则和理清了流程,这些维护工作也会变得更加简单和流畅。

背景

在 K8s 集群的维护工作中,我们难免会遇到多节点维护的场景,如规格升级、集群迁移等,通过直接排空节点的操作将变得繁琐,且有风险,容易出现服务中断、集群抖动等情况,那么如何在多节点维护(下线)时保障应用的可用性及集群的稳定性将至关重要,接下来为大家分享多节点维护如何做到安全排空的方法。

维护流程及问题

首先,我们先看一下简单的维护流程,以及在多节点维护场景中可能出现的问题。

操作流程:

  1. 将节点设置为不可调度,阻止新的Pods调度到准备维护的节点上(K8s-node-1是示例节点名称,可通过kubectl get nodes进行查看)

kubectl cordon k8s-node-1

  1. 节点排空,驱逐节点上的Pods

kubectl drain k8s-node-1 --ignore-daemonsets

参数说明: --ignore-daemonsets: 不驱逐节点上的deamonset容器,这个参数是常用的

复制代码
--delete-emptydir-data: 当Pods被驱逐时,如果使用了emptyDir临时存储,数据也将被删除,可按需使用

多节点场景套用上述流程可能面临的问题:

  • 服务中断,如某个应用有 2 个副本,但同时被驱逐;或者其中一个副本未正常启动,另一个副本又被驱逐,导致服务不可用。
  • Kube-apiserver和etcd负荷过大,在短时间内触发多节点的Pods驱逐将会造成集群压力,可能引发集群抖动等风险。

解决方案

  • 引入PDB(PodDisruptionBudget)

PDB 是 K8s 中的一种机制,用于确保节点在进行维护时,应用的 Pod 副本不会被全部驱逐,从而保障应用的高可用性。所以建议将核心的应用配置上 PDB,保障其最小可运行的容器数量,如下是配置的示例。

复制代码
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: zeus
  namespace: prod
spec:
  minAvailable: 1  # 保障最小可用数量为1
  selector:
    matchLabels:
      app: zeus

PDB的两个参数:

minAvailable: 指定最少必须可用的Pod数量或比例。 maxUnavailable: 指定最多可以不可用的Pod数量或比例。

PDB策略查看: kubectl get pdb -n prod 有 PDB 的加持,会让多节点维护得更加安全和放心。

  • 分批进行操作

为了减轻 Kube-apiserver 和 etcd 的压力,避免造成 K8s集群抖动,往往选择分批进行操作,但是依靠人肉敲指令,数量少还好,如果数量多简直是要了运维老命,所以我们会借助脚本实现,具体如下:

这个脚本可以帮助你逐台设置不可调度和排空,你可根据实际场景调整执行的时间间隔,该脚本会将执行的结果输出到日志drain_nodes.log

复制代码
#!/bin/bash

# 节点列表,用逗号分隔
NODES_STRING="k8s-node-1,k8s-node-2,k8s-node-3"

# 将字符串转换为数组
IFS=',' read -r -a NODES <<< "$NODES_STRING"

SLEEP_INTERVAL=300  # 节点操作间隔(秒)

# 日志文件
LOG_FILE="drain_nodes.log"

# 清空日志
> $LOG_FILE

# 排空节点方法
drain_node() {
  local NODE=$1

  echo "[$(date)] Starting to process node $NODE" | tee -a $LOG_FILE

  # 将节点设置为不可调度
  if kubectl cordon $NODE; then
    echo "[$(date)] cordon node $NODE successfully" | tee -a $LOG_FILE
  else
    echo "[$(date)] Error cordon node $NODE" | tee -a $LOG_FILE
    return 1
  fi

  # 等待 3 秒以确保配置生效
  sleep 3

  # 排空节点
  if kubectl drain $NODE --ignore-daemonsets; then
    echo "[$(date)] Drained node $NODE successfully" | tee -a $LOG_FILE
    return 0
  else
    echo "[$(date)] Error draining node $NODE" | tee -a $LOG_FILE
    return 1
  fi
}

# 节点遍历
for NODE in "${NODES[@]}"; do
  if drain_node $NODE; then
    echo "[$(date)] Node $NODE processed successfully" | tee -a $LOG_FILE
  else
    echo "[$(date)] Failed to process node $NODE. Check $LOG_FILE for details." | tee -a $LOG_FILE
  fi
  sleep $SLEEP_INTERVAL
done

节点恢复后,需要恢复可节点调度:

复制代码
#!/bin/bash

# 定义包含节点名称的字符串变量
NODES_STRING="k8s-node-1,k8s-node-2,k8s-node-3"

# 将NODES_STRING分割成数组
IFS=',' read -r -a nodes <<< "$NODES_STRING"

# 遍历每个节点并删除特定污点
for node in "${nodes[@]}"
do
  echo "Removing taint from node: $node"
  kubectl uncordon "$node"
  if [ $? -eq 0 ]; then
    echo "Successfully uncordon from node: $node"
  else
    echo "Failed to uncordon from node: $node"
  fi
done

echo "node uncordon process completed."

结 语

通过 PDB 的加持,及脚本的辅助,会让多节点维护的操作更加安全、顺畅和放心,本期分享就到这里,谢谢!

本文由博客一文多发平台 OpenWrite 发布!

相关推荐
马里马里奥-7 小时前
在Windows系统部署本地智能问答系统:基于百度云API完整教程
windows·云计算·百度云
退役小学生呀9 天前
三、kubectl使用详解
云原生·容器·kubernetes·k8s
来自于狂人9 天前
速通Ceph分布式存储(含超详细图解)
云计算
云宏信息10 天前
金融vmware替换过程中关于利旧纳管、迁移、数据安全容灾备份、成本及案例|金融行业数字化QA合集④
大数据·运维·服务器·科技·金融·云计算
成都极云科技10 天前
如何选择适合的服务器托管方案以优化网站性能:提升速度与稳定性的关键决策
运维·服务器·人工智能·云计算·gpu算力
小猴崽10 天前
腾讯云轻量数据库:性能与成本优化的新一代数据解决方案
数据库·云计算·腾讯云
ALe要立志成为web糕手10 天前
Kubernetes安全
安全·web安全·网络安全·k8s·云安全
编程乐学(Arfan开发工程师)10 天前
74、单元测试-前置条件
redis·python·阿里云·单元测试·云计算·bootstrap
Ultipa10 天前
数据驱动 AI 时代:数据库行业的技术跃迁与生态重构
大数据·数据库·人工智能·重构·云计算·图数据库
忘记安全带10 天前
AWS EC2使用SSM会话管理器连接
服务器·网络·自动化·云计算·aws