k8s搭建（详细演示完整一篇）

天行健，君子以自强不息；地势坤，君子以厚德载物。

每个人都有惰性，但不断学习是好好生活的根本，共勉！

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

文章目录

一、环境准备
- [1. 系统类型](#1. 系统类型)
- [2. 系统要求](#2. 系统要求)
- [3. 系统配置](#3. 系统配置)
二、Docker安装
- [1. 安装Docker](#1. 安装Docker)
- - [1.1 更新安装包](#1.1 更新安装包)
  - [1.2 安装依赖](#1.2 安装依赖)
  - [1.3 获取证书](#1.3 获取证书)
  - [1.4 添加仓库](#1.4 添加仓库)
  - [1.5 再次更新安装包](#1.5 再次更新安装包)
  - [1.6 安装docker](#1.6 安装docker)
- [2. 配置镜像加速器（不配也行，建议配一下）](#2. 配置镜像加速器（不配也行，建议配一下）)
- [3. 开启Docker](#3. 开启Docker)
- - [3.1 查看docker状态](#3.1 查看docker状态)
  - [3.2 重启docker](#3.2 重启docker)
  - [3.3 开机自启](#3.3 开机自启)
三、K8S组件安装
- [1. 组件介绍](#1. 组件介绍)
- [2. 再次确保关闭ufw和swap](#2. 再次确保关闭ufw和swap)
- - [2.1 关闭防火墙](#2.1 关闭防火墙)
  - [2.2 查看防火墙状态](#2.2 查看防火墙状态)
  - [2.3 查看交换内存](#2.3 查看交换内存)
  - [2.4 关闭交换内存](#2.4 关闭交换内存)
- [3. 组件安装（kubelet、kubectl、kubeadm）](#3. 组件安装（kubelet、kubectl、kubeadm）)
- - [3.1 使用阿里云镜像仓库安装（推荐）](#3.1 使用阿里云镜像仓库安装（推荐）)
  - - [3.1.1 更新apt](#3.1.1 更新apt)
    - [3.1.2 安装工具](#3.1.2 安装工具)
    - [3.1.3 签名秘钥](#3.1.3 签名秘钥)
    - [3.1.4 添加k8s的apt仓库](#3.1.4 添加k8s的apt仓库)
    - [3.1.5 再次更新apt包](#3.1.5 再次更新apt包)
    - [3.1.6 安装组件（两种方式）](#3.1.6 安装组件（两种方式）)
    - - [3.1.6.1 指定版本安装（推荐）](#3.1.6.1 指定版本安装（推荐）)
      - [3.1.6.2 不指定版本安装（不推荐，因为版本默认最新，容易报错）](#3.1.6.2 不指定版本安装（不推荐，因为版本默认最新，容易报错）)
  - [3.2 脚本方式安装](#3.2 脚本方式安装)
  - [3.3 使用官网仓库安装（此路不通请跳过此步，可能是应为在创建虚拟机的时候使用的是阿里云的仓库，相关配置有点问题，如果想用该步骤进行安装，需要自己重新自定义安装虚拟机后进行尝试）](#3.3 使用官网仓库安装（此路不通请跳过此步，可能是应为在创建虚拟机的时候使用的是阿里云的仓库，相关配置有点问题，如果想用该步骤进行安装，需要自己重新自定义安装虚拟机后进行尝试）)
- [4. 修改cgroups](#4. 修改cgroups)
四、根据主节点克隆两个WORKER节点
- [1. 克隆K8S-WORKER1](#1. 克隆K8S-WORKER1)
- [2. 克隆K8S-WORKER2](#2. 克隆K8S-WORKER2)
- [3. 修改主机名称](#3. 修改主机名称)
- [4. 修改IP](#4. 修改IP)
- [5. 激活IP](#5. 激活IP)
五、创建集群
- [1. putty连接虚拟机](#1. putty连接虚拟机)
- [2. 初始化](#2. 初始化)
- - [2.1 查看kubernetes版本信息](#2.1 查看kubernetes版本信息)
  - [2.2 执行初始化命令](#2.2 执行初始化命令)
  - [2.4 报错处理（无报错可以跳过此步）](#2.4 报错处理（无报错可以跳过此步）)
  - - [2.4.1 报错排查](#2.4.1 报错排查)
    - [2.4.2 重置adm](#2.4.2 重置adm)
- [3. 配置.kube](#3. 配置.kube)
- [4. calico网络配置](#4. calico网络配置)
- - [4.1 calico网络配置简单命令（推荐）](#4.1 calico网络配置简单命令（推荐）)
  - [4.2 根据calico官网命令配置（不一定好用，但可一试）](#4.2 根据calico官网命令配置（不一定好用，但可一试）)
- [5. 集群节点查看](#5. 集群节点查看)
- [6. 集群添加节点](#6. 集群添加节点)
- - [6.1 重新生成加入节点的命令](#6.1 重新生成加入节点的命令)
  - [6.2 将worker1节点加入集群](#6.2 将worker1节点加入集群)
  - [6.3 将worker2节点加入集群](#6.3 将worker2节点加入集群)
  - 补：hosts配置
  - [6.4 查看已加入集群的节点](#6.4 查看已加入集群的节点)
六、dashboard配置
- [1. 安装dashboard](#1. 安装dashboard)
- [2. dashboard端口设置及获取](#2. dashboard端口设置及获取)
- - [2.1 type类型](#2.1 type类型)
  - [2.2 获取端口号](#2.2 获取端口号)
- [3. 创建dashboard访问账号](#3. 创建dashboard访问账号)
- [4. 获取dashboard的访问token](#4. 获取dashboard的访问token)
- 5.访问dashboard
- - [5.1 端口查看](#5.1 端口查看)
  - [5.2 ip查看](#5.2 ip查看)
  - [5.3 访问地址](#5.3 访问地址)

一、环境准备

1. 系统类型

linux系统安装：ubuntu22.04.3

2. 系统要求

cpu至少两个

每个cpu至少分配一个内核

运行内存至少2G

磁盘存储20G

3. 系统配置

创建服务器并设置系统参数等

参考文章：VMware安装ubuntu系统22.04.3版本

根据上面这篇文章创建的虚拟机，即使换了网络也不会改变ip地址，自己的电脑可以切换WiFi，连接虚拟机的ip地址不变

复制代码

强烈建议使用VMware来安装系统，在后续的每一阶段的操作都可以生成快照，
并即使回退到想要的位置，相当于是操作失误了或者出现问题可以回到没出问题之前的位置，真的很方便，节省时间，
virtualbox不知道有没有，至少我之前用的时候没发现他有这个功能

二、Docker安装

1. 安装Docker

安装docker的目的是为了为k8s提供运行时容器引擎，即containerd

所以此步骤的主要目的是安装containerd
注： kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替换采用 containerd 作为容器运行时端点。docker中包含了 containerd 。

containerd是一个CRI（Container Runtime Interface）组件，在容器运行时调用containerd组件来创建、运行、销毁容器等

1.1 更新安装包

l 复制代码

sudo apt-get update

1.2 安装依赖

l 复制代码

sudo apt install -y curl gnupg2 software-properties-common apt-transport-https ca-certificates

1.3 获取证书

l 复制代码

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

1.4 添加仓库

l 复制代码

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

1.5 再次更新安装包

l 复制代码

sudo apt update

1.6 安装docker

l 复制代码

sudo apt-get -y install docker-ce

2. 配置镜像加速器（不配也行，建议配一下）

参考：配置阿里云容器镜像加速

3. 开启Docker

3.1 查看docker状态

l 复制代码

systemctl status docker

3.2 重启docker

l 复制代码

sudo systemctl restart docker

3.3 开机自启

l 复制代码

sudo systemctl enable docker

或

l 复制代码

sudo systemctl enable docker.service

三、K8S组件安装

1. 组件介绍

安装k8s的三个组件kubelet、kubeadm、kubectl
kubelet 运行在Cluster所有节点上，负责启动Pod和容器
kubeadm 用于初始化Cluster
kubectl 是Kubernetes命令行工具。通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。

2. 再次确保关闭ufw和swap

再检查一下防火墙和交换内存，确保关闭

2.1 关闭防火墙

请参考小短文：正确关闭ubuntu防火墙

l 复制代码

systemctl stop ufw

l 复制代码

sudo ufw disable

2.2 查看防火墙状态

l 复制代码

sudo ufw status

或

l 复制代码

systemctl status ufw.service

最好两条命令都查看一下，确保关闭，不然后续出了问题不一定会想到这里

如果是inactive则表示已关闭

2.3 查看交换内存

l 复制代码

sudo free -m

2.4 关闭交换内存

(只能暂时关闭，重启后则会失效)

l 复制代码

sudo swapoff -a

再执行以下命令则会永久关闭

（修改文件内容，注释掉swap）

l 复制代码

sudo vim /etc/fstab

i进入编辑

在swap那行行首加#注释掉

esc退出编辑
shift+zz保存退出

然后查看修改后的内容

l 复制代码

cat /etc/fstab

3. 组件安装（kubelet、kubectl、kubeadm）

这里尝试了两种方式，一种是阿里云的镜像地址进行安装，一种是用官网的地址进行安装

3.1 使用阿里云镜像仓库安装（推荐）

3.1.1 更新apt

更新安装包

l 复制代码

sudo apt-get update

3.1.2 安装工具

（前面安装docker的时候安装过这些则不需要再次安装）

l 复制代码

sudo apt-get install -y apt-transport-https ca-certificates curl

3.1.3 签名秘钥

下载k8s软件包仓库的公共签名秘钥

l 复制代码

curl -fsSL https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -

3.1.4 添加k8s的apt仓库

添加适合k8s的apt仓库

l 复制代码

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main"

注：这里的地址必须是http，不可以用https，我这里用了https后报错，改成了http后正常，原因暂不知晓"

3.1.5 再次更新apt包

l 复制代码

sudo apt-get update

3.1.6 安装组件（两种方式）

一种是指定版本，一种是不指定版本
注意：阿里云的地址与官网的版本存在延时性，官网的比较新的小版本阿里云上可能没有，此时官网最新版为1.28.4，阿里云最新版为1.28.2

3.1.6.1 指定版本安装（推荐）

阿里云镜像地址中最新的版本为1.28.2-00

此处以1.22.9-00为例

查看版本是否存在

l 复制代码

sudo apt-cache madison kubelet kubectl kubeadm | grep '1.22.9-00'

指定版本进行安装

l 复制代码

sudo apt install -y kubelet=1.22.9-00 kubectl=1.22.9-00 kubeadm=1.22.9-00

安装成功打印的后半部分内容如下，其中也可以看到三个组件的版本号

标记指定软件包为保留，阻止更新

l 复制代码

sudo apt-mark hold kubelet kubeadm kubectl

3.1.6.2 不指定版本安装（不推荐，因为版本默认最新，容易报错）

不指定版本时，默认安装最新版

因用的是阿里云的地址，所以最新版是阿里云地址的最新版，不是官网的最新版

l 复制代码

sudo apt install -y kubelet kubectl kubeadm

安装完成后的后半部分内容如下

标记指定软件包为保留，阻止更新

l 复制代码

sudo apt-mark hold kubelet kubeadm kubectl

3.2 脚本方式安装

3.1的安装步骤相当多，如果嫌麻烦可写成一个脚本文件进行执行，简单快捷

创建文件夹k8s，创建后的文件夹在当前路径下

l 复制代码

sudo mkdir k8s

可用sudo ls命令查看

l 复制代码

sudo ls

在k8s文件夹中创建脚本文件installKube.sh

vim命令进入即创建

l 复制代码

sudo vim k8s/installKube.sh

将以下内容复制（内容为3.1的全部命令集合），然后鼠标右键粘贴进去（这种粘贴方式的前提是使用putty连接服务器后在putty的窗口操作，在虚拟机窗口是粘贴不了的，除非有其他粘贴配置）

l 复制代码

#!/bin/bash
sudo apt update && sudo apt install apt-transport-https ca-certificates curl
curl -fsSL https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main"
sudo apt update
sudo apt-cache madison kubelet kubectl kubeadm | grep '1.22.9-00' 
sudo apt install -y kubelet=1.22.9-00 kubectl=1.22.9-00 kubeadm=1.22.9-00
sudo apt-mark hold kubelet kubeadm kubectl

然后shift+zz保存退出

可用cat命令查看

l 复制代码

sudo cat k8s/installKube.sh

运行脚本执行命令进行安装

l 复制代码

sh k8s/installKube.sh

安装完成如下，一气呵成

3.3 使用官网仓库安装（此路不通请跳过此步，可能是应为在创建虚拟机的时候使用的是阿里云的仓库，相关配置有点问题，如果想用该步骤进行安装，需要自己重新自定义安装虚拟机后进行尝试）

官网或者阿里云二选一操作即可

更新安装包

l 复制代码

sudo apt update

安装工具（若前面安装docker时安装过了，可不执行此命令）

l 复制代码

sudo apt-get install -y apt-transport-https ca-certificates curl gpg

下载k8s软件包仓库的公共签名秘钥，同一个签名秘钥适用于所有仓库，可忽略URL中的版本信息

l 复制代码

curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key | sudo gpg --dearmour -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

添加适合k8s的apt仓库，需要其他版本可更换v1.28为所需版本

l 复制代码

echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

l 复制代码

echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] http://pkgs.k8s.io/core:/stable:/v1.28/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

注：要升级 kubectl 到别的次要版本，你需要先升级 /etc/apt/sources.list.d/kubernetes.list 中的版本，再运行 apt-get update 和 apt-get upgrade。更详细的步骤可以在更改 Kubernetes 软件包仓库中找到。

再次更新安装包

l 复制代码

sudo apt update

安装组件

l 复制代码

sudo apt install -y kubelet kubeadm kubectl

保留版本

l 复制代码

sudo apt-mark hold kubelet kubeadm kubectl

注：apt-mark的作用是用户将软件包标记为自动安装，或者取消标记为自动安装 hold选项用于将软件包标记为保留，以防止软件包被自动安装、升级或删除此处主要为了防止kubelet等组件自动升级

复制代码

sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.28/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
# This overwrites any existing configuration in /etc/apt/sources.list.d/kubernetes.list
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.28/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

4. 修改cgroups

和配置镜像加速器那个步骤相同，在/etc/docker/daemon.json文件中添加exec-opts参数

l 复制代码

sudo vim /etc/docker/daemon.json

或者将原内容删除，复制完整的内容后直接复制
i-->进入编辑模式将以下exec-opts部分加入，加入后如下

l 复制代码

{
	"exec-opts":[
		"native.cgroupdriver=systemd"
	],
	"registry-mirrors":["https://vj4iipoo.mirror.aliyuncs.com"]
}

esc-->shift+zz

重新加载生效

重启docker

l 复制代码

systemctl restart docker

重启kubelet

l 复制代码

systemctl restart kubelet

修改cgroup管理器的原因：

linux中的ubuntu、debian、centos7使用的是systemd初始化系统，systemd有自己的cgroup管理器

容器运行时和kubelet使用的是另一个cgroup管理器

也就是说linux系统的cgroup管理和kubelet的cgroup管理器是两个不一样，系统中存在两种资源分配视图

当系统资源（如cpu、内存等）不足时，操作系统的进程会不稳定

四、根据主节点克隆两个WORKER节点

通过上面的K8S-MASTER虚拟机克隆创建worker1和worker2两个节点

克隆后的worker1、worker2虚拟机登录的账号密码和master的一样

1. 克隆K8S-WORKER1

将K8S-MASTER虚拟机关机，然后右键K8S-MASTER虚拟机---管理---克隆

下一步---虚拟机中的当前状态---下一步---创建链接克隆---下一步

为虚拟机起名K8S-WORKER1

选择存储位置

完成---关闭

2. 克隆K8S-WORKER2

按照以上步骤克隆K8S-WORKER2节点

3. 修改主机名称

此时只能在虚拟机窗口进行操作

修改worker1和worker2的主机名称hostname

登录worker1

账号libai

密码123456

此时可以看到主机名还是K8S-MASTER

可使用命令

l 复制代码

hostnamectl set-hostname K8S-WORKER1

查看修改后的结果

l 复制代码

cat /etc/hostname

对worker2进行相同操作，将worker2的主机名称改为K8S-WORKER2

4. 修改IP

修改worker1和worker2的ip地址（因为克隆后的两台虚拟机ip与被克隆的master主机ip相同，可根据自己的主机ip进行第四段+1进行修改两个worker节点的ip）

打开虚拟机K8S-WORKER1

输入命令查看ip信息

l 复制代码

cat /etc/netplan/00-installer-config.yaml

可以看到master节点的主机ip信息

我的主节点master的ip为192.168.193.128/24

现在将worker1的ip地址改为192.168.193.129/24

命令如下

l 复制代码

sudo vim /etc/netplan/00-installer-config.yaml

输入i进入编辑模式

修改后按esc退出编辑模式，按shift+zz快捷保存退出

再用cat命令查看修改后内容：：：

l 复制代码

cat /etc/netplan/00-installer-config.yaml

相同操作，将worker2的ip改为192.168.193.130/24

三台虚拟机的ip如下：

master 192.168.193.128/24

worker1 192.168.193.129/24

worker2 192.168.193.130/24

5. 激活IP

修改ip后需要激活才可用

使用命令

l 复制代码

sudo netplan apply

该命令需要等几分钟左右生效，可以多等一会，然后使用putty远程连接ip地址，连上则说明激活成功

五、创建集群

1. putty连接虚拟机

putty连接服务器指南

开启之前配置好的三台虚拟机

使用putty连接三台虚拟机，在putty窗口进行操作

2. 初始化

在主节点K8S-MASTER上操作

2.1 查看kubernetes版本信息

这里用命令查看

l 复制代码

kubectl version

输出的信息中包含版本信息

版本号为1.22.9

2.2 执行初始化命令

l 复制代码

sudo kubeadm init \
  --kubernetes-version=v1.22.9 \
  --image-repository registry.aliyuncs.com/google_containers \
  --pod-network-cidr=10.24.0.0/16 \
  --ignore-preflight-errors=Swap

参数解释：
--image-repository string 指定从什么位置来拉取镜像（1.13版本才有的）

默认值是k8s.gcr.io，改为国内镜像地址：registry.aliyuncs.com/google_containers
--kubernetes-version string：指定kubenets版本号
--pod-network-cidr 指定 Pod 网络的范围。

Kubernetes 支持多种网络方案，而且不同网络方案对 --pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。（说明在集群中将会使用10.244.0.0这个网段下面的所有ip地址，比如将tomcat部署在10.244.144.198这个地址，然后再master节点使用curl 10.244.144.198就可以返回tomcat的界面）
--ignore-preflight-errors=all 忽略预检报错内容，指定所有（自己猜的）
注：kubeadm 不支持将没有 --control-plane-endpoint 参数的单个控制平面集群转换为高可用性集群。

这里有个地方我记录一下

初始化开始的时候会提示一个警告信息如下