本文记录了在作者本地使用三台CentOS虚拟机,搭建部署单Master双Slave Kubernetes集群。
题图源:Understanding Your Kubernetes Deployment Lifecycle
1 系统准备
搭建部署包含1个Master结点和2个Slave结点的Kubernetes集群,需要准备3台Linux虚拟机作为集群结点,可以通过VMware Worksation快速创建三台CentOS虚拟机。
1.1 工具安装
1.2 网络配置
使用VMware工具本身的界面操作起来并不方便,对CentOS虚拟机固定IP后,可使虚拟机每次启动时IP不会发生变化,可以使用XShell
或Tabby
通过SSH访问虚拟机,进行后续的配置操作,会节省很多时间。
此配置保证后续Kubernetes集群结点IP不会随意改变,这里不做过多介绍,具体可参考这篇文章:Vmware虚拟机Linux配置固定IP地址(详细版)。
通过以上配置,在各个结点执行ip addr
获取到三个结点的IP信息:
192.168.198.129
192.168.198.130
192.168.198.131
1.3 CentOS系统配置
1.3.1 主机名配置
设置192.168.198.129主机名 apple
bash
hostnamectl set-hostname apple
设置192.168.198.130主机名 banana
bash
hostnamectl set-hostname banana
设置192.168.198.131主机名 cherry
bash
hostnamectl set-hostname cherry
1.3.2 配置主机IP地址
设置Apple IP地址为 192.168.198.129
bash
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.129
GATEWAY=192.168.198.2
NETMASK=255.255.255.0
设置Banana IP地址为 192.168.198.130
bash
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.130
GATEWAY=192.168.198.2
NETMASK=255.255.255.0
设置Cherry IP地址为 192.168.198.131
bash
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="529588ee-2c22-4dd4-99c1-c823fbf96642"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.198.131
GATEWAY=192.168.198.2
NETMASK=255.255.255.0
1.3.3 配置DNS网络信息
在每个结点执行
bash
# 缺少此配置可能无法访问外网
cat >> /etc/resolv.conf << EOF
# Generated by NetworkManager
nameserver 8.8.8.8
nameserver 114.114.114.114
EOF
重启生效
bash
# 重启网络服务
systemctl restart network
# 验证网络
ping www.baidu.com
1.3.4 配置主机名与IP地址解析
在每个结点执行
bash
cat >> /etc/hosts << EOF
192.168.198.129 apple
192.168.198.130 banana
192.168.198.131 cherry
EOF
1.3.5 防火墙配置
在每个结点执行
bash
# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启
systemctl disable firewalld
1.3.6 SELinux配置
在每个结点执行,修改后需要重启
bash
# 永久关闭
sed -i 's/enforcing/disabled/' /etc/selinux/config
#临时关闭
setenforce 0
重启生效
bash
reboot
1.3.7 swap分区配置
在每个结点执行,修改后需重启
bash
# 永久关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 临时关闭
swapoff -a
重启生效
bash
reboot
1.3.8 配置内核转发及网桥过滤
在每个结点执行
bash
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF
bash
# 加载br_netfilter模块
modprobe br_netfilter
# 查看是否加载
lsmod | grep br_netfilter
# 生效
sysctl --system
1.3.9 时间同步配置
在每个结点执行
bash
# 安装 ntpdate
yum install ntpdate -y
# 同步时间
ntpdate time.windows.com
1.3.10 IPVS配置
在每个结点执行
bash
# 安装ipset和ipvsadm
yum -y install ipset ipvsadm
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 添加执行权限
chmod 755 /etc/sysconfig/modules/ipvs.modules
# 运行
bash /etc/sysconfig/modules/ipvs.modules
# 检查是否加载
lsmod | grep -e ipvs -e nf_conntrack_ipv4
1.3.11 升级操作系统内核
在每个结点执行,升级后需重启
安装YUM源
bash
# 导入elrepo gpg key
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# 安装elrepo YUM源仓库
yum -y install https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
升级内核版本
bash
# 稳定版kernel-ml 长期维护版本kernel-lt
yum -y --enablerepo=elrepo-kernel install kernel-ml
# 查看已安装的内核
rpm -qa | grep kernel
# 查看默认内核
grubby --default-kernel
# 若不是最新版本时执行
grubby --set-default $(ls /boot/vmlinuz-* | grep elrepo)
重启生效
bash
reboot
至此,操作系统环境准备已完成,下一步可以进行Docker、容器运行时以及Kubernetes软件安装和配置!
1.4 创建快照
在VMware对3台虚拟机创建一份快照,便于后续配置出现问题时回滚。
2 容器运行时准备
在每个结点执行
2.1 安装Docker
参考:清华大学开源软件镜像站 Docker CE 软件仓库
因作者本地为CentOS7.9
操作系统环境,这里使用CentOS/RHEL
版本。
bash
# 如果你之前安装过docker,请先删掉
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
# 安装依赖,下载repo文件,并把软件仓库地址替换为镜像站:
yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# 安装Docker及相关插件
yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y
2.2 配置镜像加速
参考:中科大USTC镜像站 Docker Hub 源使用帮助
bash
# 在/etc路径下新建docker文件夹
sudo mkdir -p /etc/docker
# 在docker目录下新建daemon.json文件,并加入registry-mirrors
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
EOF
# 重新加载systemd管理的单位文件
sudo systemctl daemon-reload
# 重新启动Docker服务
sudo systemctl restart docker
# 设置Docker服务开机自启
systemctl enable docker
2.3 安装cri-docker
采用软件包离线安装方式
bash
# 下载cri-docker.rpm包
https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.8/cri-dockerd-0.3.8-3.el7.x86_64.rpm
# 安装libcgroup
yum install -y libcgroup
# 安装cri-docker
rpm -ivh cri-dockerd-0.3.8-3.el7.x86_64.rpm
# 修改cri-docker.service配置第10行
vi /usr/lib/systemd/system/cri-docker.service
修改为以下配置
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd://
# 启动cri-docker服务
systemctl start cri-docker
# 设置cri-docker服务开机自启
systemctl enable cri-docker
3 部署Kubernetes集群
3.1 配置阿里云镜像源代理
在每个结点执行
bash
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum makecache
yum install -y --nogpgcheck kubelet kubeadm kubectl
yum list kubelet --showduplicates | sort -r |grep 1.28
3.2 安装kubeadm、kubelet、kubectl
在每个结点执行
bash
# 安装最新版本
yum install -y kubelet kubeadm kubectl -y
# 配置kubectl命令补全
yum install bash-completion -y
kubectl completion bash > /etc/profile.d/kubectl_completion.sh
. /etc/profile.d/kubectl_completion.sh
# 启动kubelet服务
systemctl start kubelet
# 设置kubelet开机自启
systemctl enable kubelet
3.3 准备启动镜像
配置从阿里云镜像源拉取
bash
kubeadm config images list --kubernetes-version=v1.28.2
kubeadm config images list --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.28.2
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.28.2 --cri-socket=unix:///var/run/cri-dockerd.sock
3.4 初始化Master结点
仅在Master结点执行
bash
kubeadm init --kubernetes-version=v1.28.2 --image-repository registry.aliyuncs.com/google_containers --cri-socket=unix:///var/run/cri-dockerd.sock
# 按照提示完成以下配置
....
....
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
....
....
3.5 部署CNI网络插件
仅在Master结点执行
sh
# 若coredns始终处于ContainerCreating状态,需要在部署flannel前配置,否则每次重启节点后需要重新配置
vi /run/flannel/subnet.env
# 加入以下配置
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 检查coredns状态
kubectl get pods -n kube-system
3.6 将Slave结点加入集群
仅在Slave结点执行
bash
# 加入worker结点
kubeadm join 192.168.198.129:6443 --token bfm2eb.vb29fgjiwy6d6otq --discovery-token-ca-cert-hash sha256:9ac42de793212b57b9672eab05463e6be286aad41badc4ca96bd5f8ecbf60517 --cri-socket=unix:///var/run/cri-dockerd.sock
# 若忘记,可在master结点执行以下命令,重新获取
kubeadm token create --print-join-command
至此,一个单Master双Slave的Kubernetes集群搭建部署完成,通过kubectl命令在Master结点查看。
bash
kubectl get nodes
NAME STATUS ROLES AGE VERSION
apple Ready control-plane 165m v1.28.2
banana Ready <none> 2m8s v1.28.2
cherry Ready <none> 115s v1.28.2