Kubernetes 系列 | k8s入门运维

一、K8S集群搭建
- [1.1 部署方式](#1.1 部署方式)
- [1.2 了解kubeadm](#1.2 了解kubeadm)
- [1.3 部署流程](#1.3 部署流程)
- - [1.3.1 初始化配置](#1.3.1 初始化配置)
  - [1.3.2 安装容器运行时](#1.3.2 安装容器运行时)
  - [1.3.3 安装K8S软件包](#1.3.3 安装K8S软件包)
  - [1.3.4 创建集群](#1.3.4 创建集群)
二、集群高可用
- [1.1 集群高可用-堆叠](#1.1 集群高可用-堆叠)
- [1.2 集群高可用-集群外etcd](#1.2 集群高可用-集群外etcd)
三、Pod运维
- [3.1 Pod运维](#3.1 Pod运维)
- [3.2 Pod的生命周期](#3.2 Pod的生命周期)
- [3.3 Pod状况](#3.3 Pod状况)
- [3.4 Pod阶段](#3.4 Pod阶段)
- [3.5 容器状态](#3.5 容器状态)
- [3.6 Pod调度](#3.6 Pod调度)
- [3.7 Pod排错](#3.7 Pod排错)
- [3.8 Pod状态](#3.8 Pod状态)
四、Node运维
五、Etcd运维
六、Corndns运维
七、Ingress-controller运维
八、Calico运维
九、证书更新

一、K8S集群搭建

1.1 部署方式

kubeadm
Kubeadm是一个K8s部署工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群
二进制
从github下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群

1.2 了解kubeadm

kubeadm 通过执行必要的操作来启动和运行一个最小可用的集群。它被故意设计为只关心启动集群，而不是准备节点环境的工作：

kubeadm init 启动一个 Kubernetes 主节点
kubeadm join 启动一个 Kubernetes 工作节点并且将其加入到集群
kubeadm upgrade 更新一个 Kubernetes 集群到新版本
kubeadm config 管理集群的配置
kubeadm token 使用 kubeadm join 来管理令牌
kubeadm reset 还原之前使用 kubeadm init 或者 kubeadm join 对节点产生的改变
kubeadm version 打印出 kubeadm 版本
kubeadm alpha 预览一组可用的新功能以便从社区搜集反馈

1.3 部署流程

v1.25搭建直通车

下文的流程只是参考并不是可实操的文档，若需要部署请使用上文。

1.3.1 初始化配置

关闭防火墙、selinux、swap

#关闭防火墙
systemctl stop firewalld &&systemctl disable firewalld
#关闭 SELinux
getenforce
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
#关闭 swap 分区
free -h
swapoff -a
sed -ri 's/.swap./#&/' /etc/fstab
设置主机名

#设置主机名
hostnamectl set-hostname <hostname>
挂载存储

etcd盘
docker盘
kubelet盘
内核参数调优

将桥接的 IPv4 流量传递到 iptables 的链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
其他参数
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.ip_local_port_range = 40000 60000
vm.swappiness = 0
kernel.pid_max = 655350
时间同步

手动同步
ntpdate
chrony

1.3.2 安装容器运行时

安装CRI

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O
/etc/yum.repos.d/docker-ce.repo
yum -y imstall docker-ce/containerd
调整cgroups驱动

$ cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
启动并开机自启

systemctl enable docker && systemctl start docker

1.3.3 安装K8S软件包

添加K8S的yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装kubeadm、kubelet、kubectl

dnf install -y kubelet-1.25.7 kubeadm-1.25.7 kubectl-1.25.7
--disableexcludes=kubernetes
设置开机自启

systemctl enable --now kubelet

1.3.4 创建集群

初始化控制平面节点

kubeadm init
--apiserver-advertise-address=192.168.100.10
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers
--kubernetes-version=v1.25.7
--service-cidr=10.96.0.0/16
--pod-network-cidr=10.244.0.0/16
--token-ttl=0 # 如果不设置为 0 ，默认的 token 有效期是 24 小时
拷贝配置文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$ (id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf
加入节点

kubeadm join 10.10.102.224:6443 --token mu567i.b2e80ic54vhr13yl
--discovery-token-ca-cert-hash sha256:f812c6b9e157ee6c0bd11d85f59252fd8b33f349af30167738aa766442d77e33
#重新生成token
kubeadm token create --print-join-command
部署网络插件

wget https://projectcalico.docs.tigera.io/v3.25/manifests/calico.yaml
kubectl apply -f calico.yaml
kubectl get pods -n kube-system

二、集群高可用

1.1 集群高可用-堆叠

1.2 集群高可用-集群外etcd

三、Pod运维

3.1 Pod运维

3.2 Pod的生命周期

3.3 Pod状况

简介

可以通过查看Pod的Condition列表了解更多信息，pod的Condition指示pod是否已达到某个状态，以及为什么会这样，与状态相反，一个Pod同时具有多个Conditions
pod的条件表

Pod Condition	描述
PodScheduled	表示pod是否已调度到节点
Initialized	Pod的 init容器都已成功完成
ContainersReady	Pod 中所有容器都已就绪
Ready	Pod 可以为请求提供服务，并且应该被添加到对应服务的负载均衡池中

显示Pod的状况

kubectl describe po <pod-name> -n <namespace> | grep Conditions: -A5

3.4 Pod阶段

简介

Pod 的阶段（Phase）是 Pod 在其生命周期中所处位置的简单宏观概述。该阶段并不是对容器或 Pod 状态

的综合汇总，也不是为了成为完整的状态机。
pod的条件表

显示Pod的阶段

kubectl get po <pod-name> -n <namespace> -o yaml | grep phase:

3.5 容器状态

3.6 Pod调度

影响Pod调度

3.7 Pod排错

排错过程中常用命令

查看 Pod 状态: kubectl get pod <pod-name> -n <namespace> -o wide
查看 Pod 的 yaml 配置: kubectl get pod <pod-name> -n <namespace> -o yaml
查看 Pod 事件: kubectl describe pod <pod-name> -n <namespace>
查看容器日志: kubectl logs -f <pod-name> [-c <container-name>] -n <namespace> --tail=10
查看上一个退出容器日志：kubectl logs <pod-name> [-c <container-name>] -n <namespace> -p

3.8 Pod状态

Pod状态-Pending

Pod状态- ContainerCreating 或Waiting

Pod状态-CrashLoopBackOff

Pod状态-ImagePullBackOff

四、Node运维

主机上线

主机下线

主机重命名

备份节点yaml文件
kubectl get node -o yaml > nodename.yaml
节点下线
清理数据
清理iptables/IPVS表
iptables:iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvs:ipvsadm -C
清理calico数据
rm -rf /var/lib/calico
设置节点名称
加入集群
kubeadm join xxx
恢复节点标签和污点信息
kubectl edit node

主机标签污点管理

标签管理

查看主机标签：kubectl get node --show-labels

添加主机标签：kubectl label node key=value

移除主机标签：kubectl label node key-

污点管理

查看主机污点：kubectl describe node

添加主机污点：kubectl taint node key=value:污点策略

移除主机污点：kubectl taint node key-

污点策略

NoSchedule : 一定不被调度

PreferNoSchedule ：尽量不被调度

NoExecute : 不会调度，并且还会驱逐Node已有Pod
主机常规处理

内存清理

在当前节点上使用命令free -g 查看内存使用情况

使用命令清理：echo 1 > /proc/sys/vm/drop_caches

主机重启

优先做POD驱逐，如果驱逐不了直接停止该节点上的kubelet和docker。

kubectl drain nodename

systemctl stop kubelet

systemctl stop docker

然后使用命令reboot

主机镜像清理

docker image prune -a

CPU异常

查看主机使用情况：top

查看各个进程CPU使用情况

查看异常进程具体执行命令，判断异常进程属于哪个服务，执行命

令：cat /proc/异常进程的PID/cmdline

反馈进程相关方

主机僵尸进程
查看主机僵尸是否存在

在当前节点上使用命令 top

查看主机僵尸

如果存在僵尸进程，找到相关进程：ps -e | grep defunct

查看主机僵尸

尝试找到僵尸进程的父进程，如果不是父进程Pid不为1，通过kill掉父进程，执行命令：kill -9 父进程Pid，从而处理僵尸

进程；但僵尸进程的父进程若为1，或者没有父进程，需要重启问题机器

主机不可用
查看异常节点
kubectl get node -owide | grep NotReady
查看节点异常信息
kubectl describe node

查看主机相关组件状态

systemctl status docker/kubelet

查看主机相关组件日志

journalctl -u docker/kubelet -f

tail -f /var/log/message

五、Etcd运维

etcd命令一

设置v版本的API

export ETCDCTL_API=3

查看ETCD高可用集群健康状态

etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/peer.crt --