【部署K8S集群】 1、安装前环境准备配置

操作系统：Ubuntu 22.04 TLS

Kubernetes版本：1.29.15

三节点高可用集群

更新系统软件

sudo apt-get update && sudo apt-get upgrade -y

修改软件仓库源

/etc/apt/sources.list

# ubuntu 22.04 LTS (jammy)
deb https://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse

# deb https://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse
# deb-src https://mirrors.aliyun.com/ubuntu/ jammy-proposed main restricted universe multiverse

deb https://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src https://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

关闭防火墙

关闭 ubuntu 使用的ufw防火墙，否则后面部署节点间的通信可能失败

不关闭也行，但要放通 kubernetes 集群所需的端口

sudo systemctl disable --now ufw.service

关闭swap交换分区

# 永久关闭
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab

# 临时关闭，（一般选永久关闭）
sudo swapoff -a


# 调整内核参数，swap的依赖值（0-100）越大越依赖，默认60
cat <<EOF | sudo tee /etc/sysctl.d/swap.conf
vm.swappiness = 0
EOF

设置 host 解释记录

根据部署规划设置主机名、host 文件解释记录，确保所有节点 主机名能互通

设置时间同步

集群内所有节点时间必须保持一致

# 设置时区
timedatectl set-timezone Asia/Shanghai

# 开记 NTP 时间同步
timedatectl set-ntp ture

开启转发 IPv4 并让 iptables 看到桥接流量

# 创建模块配置文件
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

# 手动加载模块
sudo modprobe overlay
sudo modprobe br_netfilter

# 验证 br_netfilter 模块是否加载成功
lsmod | grep overlay
lsmod | grep br_netfilter
lsmod | grep 'br_netfilter\|overlay'


# 开启 iptables 能够正确查看桥接流量，设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 应用 sysctl 参数而不重新启动
sudo sysctl -p /etc/sysctl.d/k8s.conf

sudo sysctl --system

# 查看内核参数值，确认修改生效
sysctl net.bridge.bridge-nf-call-iptables

# 值变为 "1"
cat /proc/sys/net/ipv4/ip_forward

开启ipvs

为了高效地处理负载均衡，Kubernetes 提供了多种代理模式， IPVS（IP Virtual Server）是其中一种高效的负载均衡实现。

IPVS 是 Linux 内核中的一种负载均衡技术，它主要用于将来自用户空间的请求转发到多个后端服务器。相较于其他负载均衡方式，IPVS 具有高效性和灵活性，能够处理大规模的连接。

IPVS的主要优点：

• 高性能：基于内核的实现，可以处理数百万的连接。
• 灵活性：支持多种负载均衡算法，如轮询、最少连接等。
• 透明性：工作在7层（应用层），用户几乎感觉不到后端服务器的变化。

使用 kubeadm 部署的集群， kube-proxy 默认是 iptables 模式。

# 在所有节点安装ipset和ipvsadm：
sudo apt -y install ipvsadm ipset sysstat conntrack libseccomp-dev

# 配置ipvs
sudo tee /etc/modules-load.d/ipvs.conf << EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr     # 轮询算法,按顺序依次将请求分发到每个后端 Pod;
modprobe -- ip_vs_wrr    # 加权轮询算法,根据 Pod 的权重（默认相同）分发请求，权重高的 Pod 接收更多流量;
modprobe -- ip_vs_sh     # 源哈希算法,根据客户端 IP 哈希值固定分发到特定 Pod，确保同一客户端请求始终路由到同一 Pod;
modprobe -- ip_vs_dh     # 目标哈希算法,根据目标 IP 哈希值分发请求，适合缓存服务（如同一目标 IP 对应固定缓存节点）;
modprobe -- ip_vs_lc     # 最少连接，优先将请求分发到当前连接数最少的 Pod；
modprobe -- ip_vs_wlc    # 加权最少连接，结合权重和当前连接数，权重高且连接少的 Pod 优先接收请求；
modprobe -- ip_vs_lblc   # 基于本地的最少连接，优先将请求分发到同一本地节点的 Pod（若存在），减少跨节点网络开销；
modprobe -- nf_conntrack     #内核小于4.18，把这行改成nf_conntrack_ipv4
EOF

# 手动加载模块
sudo modprobe -- ip_vs
sudo modprobe -- ip_vs_rr
sudo modprobe -- ip_vs_wrr
sudo modprobe -- ip_vs_sh
sudo modprobe -- ip_vs_dh
sudo modprobe -- ip_vs_lc
sudo modprobe -- ip_vs_wlc
sudo modprobe -- ip_vs_lblc



# 内核版本大于4.19，使用nf_conntrack，之前版本用nf_conntrack_ipv4模块，
# 否则会提示modprobe: FATAL: Module nf_conntrack_ipv4 not found in directory lib/modules/5.15.0-40-generic

kernel_version=$(uname -r | cut -d- -f1) && echo $kernel_version
if [ `expr $kernel_version \> 4.19` -eq 1 ]
    then
        sudo modprobe -- nf_conntrack
    else
        sudo modprobe -- nf_conntrack_ipv4
fi


# 加载并查看模块
sudo bash /etc/modules-load.d/ipvs.conf && lsmod | grep -e ip_vs -e nf_conntrack


# 查看当前ipvs的配置
sudo ipvsadm -L -n