安装部署k8s集群

系统： CentOS Linux release 7.9.2009 (Core)

准备3台主机

192.168.44.148	k8s-master
92.168.44.154	k8s-worker01
192.168.44.155	k8s-worker02

3台主机准备工作
关闭防火墙和selinux

  systemctl disable firewalld --now
  setenforce 0
  sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

关闭swap分区（swap分区会降低性能，所以选择关闭）

参考如下链接：

  https://blog.csdn.net/dejunyang/article/details/97972399

设置node的主机名，并配置/etc/hosts （这样可以方面看到pod调度到哪个node上面）
对应的node配置对应的主机名

  hostnamectl set-hostname k8s-master
  hostnamectl set-hostname k8s-worker01
  hostnamectl set-hostname k8s-worker02

每台node主机都需要执行

  cat >> /etc/hosts << EOF 
  192.168.44.148  k8s-master
  192.168.44.154  k8s-worker01
  192.168.44.155  k8s-worker02
  EOF

开始安装k8s

配置yum源（3台主机都需要操作，使用阿里云yum仓库）

cat >  /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装 kuberneters组件（所有节点安装）

yum -y install kubeadm-1.19.0 kubectl-1.19.0 kubelet-1.19.0 --disableexcludes=kubernetes

--disableexcludes=Kubernetes 禁掉除了这个kubernetes之外的别的仓库
这里安装的是指定版本，不指定版本默认安装最新版本

kubelet服务，启动并设置开启自启(所有node执行)
```
systemctl enable kubelet --now
```
所有节点安装docker
```
yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum -y install docker-ce-19.03.10-3.el7 docker-ce-cli-19.03.10-3.el7 containerd.io docker-compose-plugin
```
note： K8s使用的是1.19.0版本，官网推荐docker 版本 19.03

启动，并自启docker
```
systemctl enable docker --now
```
Docker配置镜像仓库，并修改cgroup驱动为systemd（所有node节点执行）

Cgroups概念　 cgroups 的全称是 Linux Control Groups，主要作用是限制、记录和隔离进程组（process

groups）使用的物理资源（cpu、memory、IO 等）。

systemd是系统自带的cgroup管理器, 系统初始化就存在的, 和cgroups联系紧密,为每一个进程分配cgroups,

用它管理就行了. 如果设置成cgroupfs就存在2个cgroup控制管理器, 实验证明在资源有压力的情况下,会存在不稳定的情况。

由于 kubeadm 把 kubelet 视为一个系统服务来管理，所以对基于 kubeadm 的安装kubernetes，我们推荐使用

systemd 驱动，不推荐 cgroupfs 驱动。
```
cat > /etc/docker/daemon.json << EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://l72pvsl6.mirror.aliyuncs.com"],
"log-opts": {"max-size":"50M","max-file":"3"}
}
EOF
```

"exec-opts": ["native.cgroupdriver=systemd"] 设置cgroup驱动为systemd
"registry-mirrors": ["https://l72pvsl6.mirror.aliyuncs.com"] 设置docker镜像仓库为阿里云镜像
"log-opts": {"max-size":"50M","max-file":"3"} 设置docker容器日志最大为50M，最大文件个数为 3

允许 iptables 检查桥接流量

若要显式加载此模块，请运行 sudo modprobe br_netfilter 通过运行 lsmod | grep br_netfilter 来验证 br_netfilter 模块是否已加载
```
 sudo modprobe br_netfilter
 lsmod | grep br_netfilter
```
为了让 Linux 节点的 iptables 能够正确查看桥接流量，请确认 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 设置为 1。例如：
```
 cat > /etc/modules-load.d/k8s.conf << EOF
  overlay
  br_netfilter
 EOF

 modprobe overlay
 modprobe br_netfilter
```
设置所需的 sysctl 参数，参数在重新启动后保持不变
```
 cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
 net.bridge.bridge-nf-call-iptables  = 1
 net.bridge.bridge-nf-call-ip6tables = 1
 net.ipv4.ip_forward                 = 1
 EOF
```
加载sysctl参数（重启也能生效）
```
 sysctl --system
```

修改kubeadm的默认配置

kubeadm config print init-defaults > init-config.yaml     将kubeadm默认的配置保存在文件中，到时候导入配置文件初始化集群

修改init-config.yaml（只修改几个关键的部分）

advertiseAddress: 192.168.44.148
imageRepository: registry.aliyuncs.com/google_containers
networking:
 dnsDomain: cluster.local
 serviceSubnet: 10.96.0.0/12
 podSubnet: 192.168.0.0/16

note：

advertiseAddress master 与集群通信的ip
imageRepository: registry.aliyuncs.com/google_containers 镜像仓库地址
networking 下面只添加了 podSubnet: 192.168.0.0/16 这个参数，其他都是默认；待会要修改CNI文件子网范围和这个一致

查看需要拉取的镜像
```
kubeadm config images list --config=init-config.yaml
```
拉取镜像
```
kubeadm config images pull --config=init-config.yaml
```

运行kubeadm init 命令安装master 节点
```
kubeadm init --config=init-config.yaml
```

note：可以忽略如下信息

W0131 16:57:45.102290 3727 configset.go:348] WARNING: kubeadmcannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
Your Kubernetes control-plane has initialized successfully! 代表控制平面初始化成功

为kubectl 配置证书才能访问master

非root用户配置：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

root用户配置：

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
source /etc/profile

将节点加入到k8s集群

当然，当集群已经成功初始化完成都，最下方会打印出加入集群的代码：

kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef

--discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef

获取加入node节点的token（master节点执行）

kubeadm token list

获取 --discovery-token-ca-cert-hash 值

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

固定格式是（注意换成自己的token和hash值）：

kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef

如果token过期了，可以在master节点上运行

kubeadm token create

打印加入节点的完整命令可以运行

kubeadm token create --print-join-command

在所有node节点执行加入集群的token
根据自己对应的加入集群的token

kubeadm join 192.168.44.148:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:88eb2767faaad801ce07501946b510d20bc180fd20cf35c9aa1822b3b345c2ef

在master节点使用 kubectl get pod -A 查看所有组件是否安装成功，状态是否Runting（需要等待一会）

kubectl  get pod -A

powershell 复制代码

	NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE
kube-system   coredns-6d56c8448f-hsm4m             0/1     Pending   0          16m
kube-system   coredns-6d56c8448f-z66pp             0/1     Pending   0          16m
kube-system   etcd-k8s-master                      1/1     Running   0          16m
kube-system   kube-apiserver-k8s-master            1/1     Running   0          16m
kube-system   kube-controller-manager-k8s-master   1/1     Running   0          16m
kube-system   kube-proxy-447d7                     1/1     Running   0          119s
kube-system   kube-proxy-9gt2z                     1/1     Running   0          16m
kube-system   kube-proxy-s9hbb                     1/1     Running   0          114s
kube-system   kube-scheduler-k8s-master            1/1     Running   0          16m

在master节点使用查看所有节点信息

kubectl get nodes

powershell 复制代码

	NAME           STATUS     ROLES    AGE     VERSION
k8s-master     NotReady   master   17m     v1.19.0
k8s-worker01   NotReady   <none>   2m48s   v1.19.0
k8s-worker02   NotReady   <none>   2m43s   v1.19.0

note：Node节点状态显示 NotReady 因为还没有安装 CNI（容器网络接口）

安装Calico CNI网络插件（在master节点执行）
下载资源文件

curl -O https://docs.tigera.io/archive/v3.18/manifests/calico.yaml

修改一下pod网段

安装

kubectl apply -f calico.yaml

等待一会再次查看pod，node详情

kubectl get nodes,pod -A

powershell 复制代码

	NAME                STATUS   ROLES    AGE   VERSION
node/k8s-master     Ready    master   36m   v1.19.0
node/k8s-worker01   Ready    <none>   21m   v1.19.0
node/k8s-worker02   Ready    <none>   21m   v1.19.0

NAMESPACE     NAME                                           READY   STATUS             RESTARTS   AGE
kube-system   pod/calico-kube-controllers-56c7cdffc6-frc82   0/1     CrashLoopBackOff   6          13m
kube-system   pod/calico-node-7rxzn                          1/1     Running            0          13m
kube-system   pod/calico-node-dbjhv                          1/1     Running            0          13m
kube-system   pod/calico-node-fsw2d                          1/1     Running            0          13m
kube-system   pod/coredns-6d56c8448f-hsm4m                   0/1     Running            0          36m
kube-system   pod/coredns-6d56c8448f-z66pp                   0/1     Running            0          36m
kube-system   pod/etcd-k8s-master                            1/1     Running            0          36m
kube-system   pod/kube-apiserver-k8s-master                  1/1     Running            0          36m
kube-system   pod/kube-controller-manager-k8s-master         1/1     Running            0          36m
kube-system   pod/kube-proxy-447d7                           1/1     Running            0          21m
kube-system   pod/kube-proxy-9gt2z                           1/1     Running            0          36m
kube-system   pod/kube-proxy-s9hbb                           1/1     Running            0          21m
kube-system   pod/kube-scheduler-k8s-master                  1/1     Running            0          36m

目前来看node节点已经就绪了，但是有一个pod报错，2个pod没有准备好，使用kubectl --namespace=kube-system describe pod pod名称查看pod的事件

kubectl --namespace=kube-system describe pod calico-kube-controllers-56c7cdffc6-frc82

报错问题能力有限无法处理，部署基本都是这样。组要是版本差异然后不知道怎么处理！！！

如果知道是什么原因导致的报错，还请不吝赐教。