Kubernetes v1.25.0集群搭建实战案例(新版本含Docker容器运行时)

k8s 1.24之后弃用了docker容器运行时，安装方式上有所不同，网上找到的大多数都是1.24之前的版本。所以把自己搭建的完整过程记录下来供大家参考。

一、前言

k8s的部署方式有多种kubeadm、kind、minikube、Kubespray、kops等本文介绍官方推荐的kubeadm的方式搭建集群。

二、安装步骤

1、虚拟机两台（ip按自己的网络环境相应配置） (master/node)

ip	hostname
192.168.1.100	master
192.168.1.101	node1

2、关闭防火墙 (master/node)

systemctl stop firewalld 
systemctl disable firewalld

3、关闭selinux (master/node)

setenforce 0  # 临时关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久关闭

4、关闭swap (master/node)

swapoff -a    # 临时关闭；关闭swap主要是为了性能考虑
free             # 可以通过这个命令查看swap是否关闭了
sed -ri 's/.*swap.*/#&/' /etc/fstab  # 永久关闭

打开fstab后注释掉这一行：

UUID=c83b0fb3-eb59-4b1e-bca0-a1731159c553 swap swap defaults 0 0

设置fstab要永久生效要reboot系统，为了不立即reboot所以之前先使用swapoff -a临时关闭一下。后续要reboot系统后就永久生效了。

free -m

5、添加主机名与IP对应的关系 (master/node)

$ vim /etc/hosts
#添加如下内容：
192.168.1.100	master
192.168.1.101	node1
#保存退出

6、修改主机名 (master/node)

#k8s-master
[root@localhost ~] hostname
localhost.localdomain
[root@localhost ~] hostname master ##临时生效
[root@localhost ~] hostnamectl set-hostname master ##重启后永久生效
 #k8s-node1  
[root@localhost ~] hostname
localhost.localdomain
[root@localhost ~] hostname node1  ##临时生效
[root@localhost ~] hostnamectl set-hostname node1  ##重启后永久生效

7、桥接设置 (master/node)

$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system

p.s.

• 以上几步最好照着都执行一下，以免后面报一大堆错

---

---

---

8、安装docker (master/node)
如果已经安装了dokcer就不需要重复安装了，可以忽略此步骤

$ yum -y install docker-ce
# 设置开机启动
$ systemctl enable docker
# 启动docker
$ systemctl start docker

9、为kubernetes添加国内阿里云YUM软件源 (master/node)

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[k8s]
name=k8s
enabled=1
gpgcheck=0 
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
EOF

10、 安装kubeadm，kubelet和kubectl (master/node)

#版本可以选择自己要安装的版本号
$ yum install -y kubelet-1.25.0 kubectl-1.25.0 kubeadm-1.25.0
# 此时，还不能启动kubelet，因为此时配置还不能，现在仅仅可以设置开机自启动
$ systemctl enable kubelet

11、安装容器运行时 (master/node)

如果k8s版本低于1.24版，可以忽略此步骤

由于1.24版本不能直接兼容docker引擎，

Docker Engine 没有实现 CRI， 而这是容器运行时在 Kubernetes 中工作所需要的。 为此，必须安装一个额外的服务cri-dockerd。 cri-dockerd 是一个基于传统的内置 Docker 引擎支持的项目， 它在 1.24 版本从 kubelet 中移除。

目前最新k8s版本为1.28.x

你需要在集群内每个节点上安装一个容器运行时以使Pod可以运行在上面。高版本Kubernetes要求你使用符合容器运行时接口（CRI）的运行时。

以下是几款 Kubernetes 中几个常见的容器运行时的用法：

• containerd
• CRI-O
• Docker Engine
• Mirantis Container Runtime

以下是使用 cri-dockerd 适配器来将 Docker Engine 与 Kubernetes 集成。

(1).安装cri-dockerd

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.2.6/cri-dockerd-0.2.6.amd64.tgz
tar -xf cri-dockerd-0.2.6.amd64.tgz
cp cri-dockerd/cri-dockerd /usr/bin/
chmod +x /usr/bin/cri-dockerd

(2).配置启动服务

cat <<"EOF" > /usr/lib/systemd/system/cri-docker.service
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF

主要是以下命令：ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.8

p.s.pause的版本可以通过kubeadm config images list

(3).⽣成 socket ⽂件

cat <<"EOF" > /usr/lib/systemd/system/cri-docker.socket
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service
[Socket]
ListenStream=%t/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker
[Install]
WantedBy=sockets.target
EOF

(4).启动 cri-docker 服务并配置开机启动

systemctl daemon-reload
systemctl enable cri-docker
systemctl start cri-docker
systemctl is-active cri-docker

12、 部署Kubernetes (master) ,node节点不需要执行kubeadm init

创建kubeadm.yaml文件，内容如下：

kubeadm init \
--apiserver-advertise-address=192.168.1.100 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.25.0 \
--service-cidr=10.10.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=all \
--cri-socket unix:///var/run/cri-dockerd.sock

p.s.

--apiserver-advertise-address=master节点IP

--pod-network-cidr=10.244.0.0/16 要与后面kube-flannel.yml里的ip一致也就是使用10.244.0.0/16不要改它。
成功后末尾输出信息如下：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.9.2.94:6443 --token xhurmz.i2tnhhuw7c0ecuw6 \
	--discovery-token-ca-cert-hash sha256:b3683deac5daa34a5778ede0ac0210bfbefce78a380c738aac7c2304c1cb1e4f

p.s.这里是通过kubeadm init安装，所以执行后会下载相应的docker镜像，一般会发现在控制台卡着不动很久，这时就是在下载镜像，你可以docker images查看是不是有新的镜像增加。

13、使用kubectl工具，kubeadm安装好后,控制台也会有提示执行以下命令，照着执行（也就是第11步最后控制台输出的） (master/node)

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

然后

vim /etc/profile
#加入以下变量
export KUBECONFIG=/etc/kubernetes/admin.conf
source /etc/profile

测试一下kubectl命令

[root@k8s-master ~]# kubectl get nodes
NAME         STATUS   ROLES    AGE   VERSION
master   NotReady    master   23m   v1.25.0

一般来说状态先会是NotReady ，可能程序还在启动中，过一会再看看就会变成Ready

14、安装Pod网络插件flannel (master/node)

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

报错：The connection to the server raw.githubusercontent.com was refused - did you specify the right host or port?

原因：国外资源访问不了

解决办法：host配置可以访问的ip

vim /etc/hosts   
#在/etc/hosts增加以下这条
199.232.28.133 raw.githubusercontent.com

重新执行上面命令，便可成功安装！

15、node节点加入master (node) 第12步控制台输出内容

kubeadm join 10.9.2.94:6443 --token ebe5w8.hfd3b59u9ww1r966 \
	--discovery-token-ca-cert-hash sha256:b3683deac5daa34a5778ede0ac0210bfbefce78a380c738aac7c2304c1cb1e4f \
 --ignore-preflight-errors=all \
--cri-socket unix:///var/run/cri-dockerd.sock

p.s.

*--ignore-preflight-errors=all *

--cri-socket unix:///var/run/cri-dockerd.sock

这两行一定要加上不然就会报各种错：

[preflight] Running pre-flight checks

error execution phase preflight: [preflight] Some fatal errors occurred:

[ERROR CRI]: container runtime is not running: output: time="2023-08-31T16:42:23+08:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for endpoint "unix:///var/run/cri-dockerd.sock": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"

, error: exit status 1

[preflight] If you know what you are doing, you can make a check non-fatal with --ignore-preflight-errors=...

To see the stack trace of this error execute with --v=5 or higher

**

Found multiple CRI endpoints on the host. Please define which one do you wish to use by setting the 'criSocket' field in the kubeadm configuration file: unix:///var/run/containerd/containerd.sock, unix:///var/run/cri-dockerd.sock

To see the stack trace of this error execute with --v=5 or higher

**

16、在master可node查看

kubectl get nodes

**到这里整个k8s集群环境就基本搭建完成了！！！ ** 注意

• 安装时注意自己安装的程序版本
• k8s组件也是以docker容器的形式存在，所以会下载很多dokcer image
• 一般安装不会在胜利，会出现不少问题，用tailf /var/log/messages跟踪下日志
• 最好把几台机器系统时间同步下，节点通讯中的token与时间也有关

三、相关笔记

• K8S在kubeadm init后，没有记录kubeadm join如何查询？

#再生成一个token即可
kubeadm token create --print-join-command
#下在的命令可以查看历史的token
kubeadm token list

• node节点kubeadm join失败后，要重新join怎么办？

#先执行
kubeadm -y reset
#再执行
kubeadm join  xx.....

• 重启kubelet

  systemctl daemon-reload
  systemctl restart kubelet

• 查询

#查询节点
kubectl get nodes
#查询pods 一般要带上"-n"即命名空间。不带等同  -n dafault
kubectl get pods -n kube-system

四、相关问题

1、k8s"弃用"docker?

记得当时"k8s弃用docker"解读满天飞，很多文章说docker已死。后来也出来一波说并不是完全弃用docker只是移除了docker作为容器运行时的支持。

• k8s去掉的其实是dockershim，这是一个在kubelet和docker之间的适配器，用来将docker的接口转换为k8s所需的CRI（容器运行时接口）。这样做是为了简化k8s的架构，提高性能和安全性，以及支持更多的容器运行时。
• k8s并没有完全弃用docker，而是弃用了docker作为容器运行时的支持。这意味着k8s将不再使用docker来创建和运行容器，而是使用其他符合CRI标准的运行时，如containerd或CRI-O123。这样做的原因是docker不符合CRI标准，而且需要一个叫做dockershim的中间层来适配k8s的API。
• k8s去掉docker并不意味着docker就没有用了，或者你不能或者不应该用docker作为开发工具。docker仍然是构建容器镜像的非常有用的工具，而且它生成的镜像是符合OCI（开放容器倡议）标准的。这意味着任何用docker构建的镜像都可以在k8s中与其他容器运行时正常工作。所以你不需要担心你的docker镜像会失效或者不兼容。

---

如果文章对你有帮助，欢迎关注+点赞，必回关！