本次使用kubeadm方式，部署1.23.17版本
安装包百度云盘地址：
链接：https://pan.baidu.com/s/1UrIotP253DoyDIYB7G1C0Q
提取码：8q6a
集群所需虚拟机环境
|---------|------------|------|
| 主机名称 | IP | 资源 |
| harbor | 10.0.0.230 | 1c2g |
| master | 10.0.0.231 | 2c4g |
| worker1 | 10.0.0.232 | 2c4g |
| worker2 | 10.0.0.233 | 2c4g |
节点环境准备
1.所有节点hosts解析
cat >> /etc/hosts <<EOF
10.0.0.230 harbor harbor.test.com
10.0.0.231 master
10.0.0.232 worker1
10.0.0.233 worker2
EOF
2.harbor节点部署harbor镜像仓库（之前的博客有）
3.每个节点安装docker
yum -y install lrasz
然后将安装包拖进去获取rz -E 上传就好了
· 上传后解压安装
tar xf docker.tar.gz
./install-docker.sh install
· 配置内核转发
[root@master ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@master ~]# sysctl -p
net.ipv4.ip_forward = 1
· k8s三个节点每个节点配置docker
vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
"insecure-registries": ["harbor.test.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
· 解析
"insecure-registries": ["harbor.test.com"], #允许拉取自建仓库harbor仓库的镜像；
"exec-opts": ["native.cgroupdriver=systemd"] #kubeadm去寻找的cgroup默认是systemd，而docker不配置的话，默认是cgroupfs，不配置这个，部署k8s时会报错；
· 配置完成后重启docker服务
systemctl restart docker
4.三个节点关闭swap分区
· 查看swap
[root@master ~]# free -h
total used free shared buff/cache available
Mem: 3.8G 275M 2.7G 19M 896M 3.3G
Swap: 2.0G 0B 2.0G
· 关闭swap
[root@master ~]# sed -ni '/^[^#]*swap/s@^@#@p' /etc/fstab
5.三个节点配置允许iptables桥接流量
cat > /etc/modules-load.d/k8s.conf << EOF
br_netfilter
EOF
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
EOF
sysctl --system
6.关闭防火墙和selinux
· 关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
· 关闭selinux
vi /etc/selinux/config
改成：SELINUX=disabled
kubeadm方式部署k8s
1.上传解压软件包
tar xf kubeadm-kubelet-kubectl.tar.gz
2.本地化安装
yum -y localinstall kubeadm-kubelet-kubectl/*.rpm
3.设置启动及开机自启动k8s
systemctl enable --now kubelet.service
4.查看状态（此时启动失败，不用管，因为还没配置完成，配置完之后自动回启动）
systemctl status kubelet.service
5.初始化master节点
kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=test.com
参数解析
--pod-network-cidr=10.100.0.0/16 #pod的网段
--service-cidr=10.200.0.0/16 #service资源的网段
--service-dns-domain=test.com #service集群的dns解析名称
·如果初始化失败，想要重新初始化
先执行：kubeadm reset -f
在执行： kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=test.com
·若k8s 初始化失败
·然后查看docker服务，发现docker启动失败
发现硬盘变为只读硬盘
·将只读文件系统变更为可写的
1.查找只读硬盘
2.将硬盘重新挂载
mount -o remount,rw /sys/fs/cgroup
mount -o remount,rw /
重新初始化即可
6.初始化成功后按照提示执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
7.验证下master节点组件
·查看master组件
[root@master pod]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
scheduler Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
·查看集群节点，此时只有一个master节点
[root@master pod]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 31h v1.23.17
8.将worker节点加入到集群中
·在两个worker节点上分别执行执行
kubeadm join 10.0.0.231:6443 --token 0he81g.kbo3vnqqmep9m33p --discovery-token-ca-cert-hash sha256:f865442d8659854db32f692d937c2d8b17e2a07942e8bd7d7bbb8a1d831b3fd1
·若是初始化后很长时间没有将worker节点加入到集群中，token会失效，需要重新生成
token失效报错如下：
master节点重新生成
kubeadm token create --print-join-command
然后在worker节点上分别执行生成的命令即可
9.查看集群状态
·master节点查看
worker节点加入集群后，在master节点上查看，此时发现，状态显示"NotReady，是因为未有CNI网络组件
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s231 NotReady control-plane,master 13m v1.23.17
k8s232 NotReady <none> 40s v1.23.17
k8s233 NotReady <none> 18s v1.23.17
10.master节点部署网络组件
·上传flannel组件（kube-flannel.yml）
·修改配置文件信息（修改网段信息--net-conf.json）
net-conf.json: |
{
"Network": "10.100.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
·部署flannel组件
kubectl apply -f kube-flannel.yml
·查看flannel组件是否成功创建pod（每个节点是否都有）
[root@master pod]# kubectl get pods -A -o wide | grep flannel
问题：镜像拉不下来，imagebackoff
这里，如果未更改配置文件中的镜像下载地址，【running】那里会显示【imagebackoff】，这是因为国内把docker给禁了，无法直接从docker官网拉镜像了，可以先把镜像上传到harbor，将镜像下载地址变更为harbor的就好了（进入文件，输入/，然后输入image，将镜像地址变更为harbor地址）
1.修改flannel配置文件
这里是我自己的配置的地址，这个要根据自己配置的来
image: harbor.test.com/k8s/flannel/flannel:v0.22.2
image: harbor.test.com/k8s/flannel/flannel-cni-plugin:v1.2.0
image: harbor.test.com/k8s/flannel/flannel:v0.22.2
配置完成后
2.先删除部署flannel组件
kubectl delete -f kube-flannel.yml
3.重新部署
kubectl apply -f kube-flannel.yml
4.再次查看节点状态
[root@master pod]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 31h v1.23.17
worker1 Ready <none> 30h v1.23.17
worker2 Ready <none> 30h v1.23.17
至此，k8s集群搭建完毕