2024-07-12 - 基于 sealos 部署高可用 K8S 管理系统

摘要

Sealos 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的方式，抛弃了传统的云计算架构，转向以 Kubernetes 为云内核的新架构，使企业能够像使用个人电脑一样简单地使用云。

操作实践

1、服务器规划

kubernetes集群大体上分为两类：一主多从和多主多从。

a、一M多N：一台Master节点和多台Node节点，但是有单机故障风险，适合用于测试环境

b、多M多N：多台Master节点和多台Node节点，安全性高，适合用于生产环境

2、环境准备

a、初始化环境

# 每台机器都需要进行初始化环境,关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 时间同步 
yum install ntpdate -y
ntpdate time.windows.com

b、设置主机名

# 配置静态 IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 每台机器都需要配置hosts
# 根据规划设置主机名
hostnamectl set-hostname <hostname>
# 按照集群规划，在每台机器的hosts文件中添加以下内容
vi /etc/hosts  
192.168.0.123 master1
192.168.0.124 master2
192.168.0.125 node1

c、免密登录

#在master上生成密钥对
ssh-keygen #一路按回车即可，会在当前用户.ssh目录下生产相应秘钥文件
 
#拷贝公钥到其它master、node节点上
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.0.124
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.0.125

d、内核升级

# 阿里云 RPMS 资源
https://mirrors.aliyun.com/elrepo/archive/kernel/el7/x86_64/RPMS/ 

# 2、wget命令下载
wget https://mirrors.aliyun.com/elrepo/archive/kernel/el7/x86_64/RPMS/kernel-lt-5.4.278-1.el7.elrepo.x86_64.rpm
wget https://mirrors.aliyun.com/elrepo/archive/kernel/el7/x86_64/RPMS/kernel-lt-devel-5.4.278-1.el7.elrepo.x86_64.rpm

# 3、资源安装
yum install -y ./kernel-lt-5.4.278-1.el7.elrepo.x86_64.rpm ./kernel-lt-devel-5.4.278-1.el7.elrepo.x86_64.rpm
# 或
rpm -ivh kernel-lt-5.4.278-1.el7.elrepo.x86_64.rpm
rpm -ivh kernel-lt-devel-5.4.278-1.el7.elrepo.x86_64.rpm
# 或，安装所有
rpm -Uvh *.rpm

# 4、配置启动内核
# 查看当前内核，或 grep "menuentry " /boot/grub2/grub.cfg 
cat /etc/grub2.cfg | grep menuentry|awk -F "\'" '$1=="menuentry " {print i++ " : " $2}'
# 设置启动内核，或 grub2-set-default 0
grub2-set-default 'CentOS Linux (5.4.278-1.el7.elrepo.x86_64) 7 (Core)'
# 重新生成grub2配置文件（grub2-mkconfig将扫描系统中已安装的操作系统，将它们添加到GRUB2的启动菜单中。如果系统上有多个内核可用，还会添加一个子菜单，以便在启动时选择内核）
grub2-mkconfig -o /boot/grub2/grub.cfg
# 查看启动内核
grub2-editenv list

关于内核种类说明:

kernel-ml 中ml是mainline stable的缩写，elrepo-kernel中罗列出来的是最新的稳定主线版本

kernel-lt 中lt是long term support的缩写，elrepo-kernel中罗列出来的长期支持版本。根据他人经验，k8s一般安装LT版本。

3、安装sealos

a、下载sealos

wget https://github.com/labring/sealos/releases/download/v5.0.0/sealos_5.0.0_linux_amd64.tar.gz

b、解压赋权

tar zxvf sealos_5.0.0_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin

4、安装 k8s 集群

a、生成集群配置

生成一个包含多个镜像、指定了主节点和工作节点的集群的配置

# 有docker版
sealos gen registry.cn-hangzhou.aliyuncs.com/images-sysncer/kubernetes-docker:v1.25.0 registry.cn-hangzhou.aliyuncs.com/images-sysncer/helm:v3.8.2 registry.cn-hangzhou.aliyuncs.com/images-sysncer/calico:v3.24.1 \
--masters 192.168.0.123,192.168.0.124 \
--nodes 192.168.0.125 --passwd Admin123 --port 22 --output Clusterfile

# 无docker版
sealos gen registry.cn-hangzhou.aliyuncs.com/images-sysncer/kubernetes:v1.25.0 registry.cn-hangzhou.aliyuncs.com/images-sysncer/helm:v3.8.2 registry.cn-hangzhou.aliyuncs.com/images-sysncer/calico:v3.24.1 \
--masters 192.168.0.123,192.168.0.124 \
--nodes 192.168.0.125 --passwd Admin123 --port 22 --output Clusterfile

参数说明：

--masters ： master节点地址

--nodes ： node节点地址

--passwd ： 服务器root密码

--port 22 ： ssh端口

--output ： 生成的文件路径及名称

b、修改配置文件

在生成了 Clusterfile 之后，用户可以根据自己的需求来修改这个文件。添加或修改环境变量；修改集群cidr配置，不添加和修改也可以直接创建集群。

不修改默认安装启动组件有：coredns、etcd、kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy、kube-sealos-lvscare。

c、创建集群

sealos apply -f Clusterfile

# 查看集群节点
kubectl get nodes

# 查看pod状态
kubectl get pod -A

5、测试验证

a、创建一个nginx-deployment.yaml文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

b、创建deployment资源

kubectl apply -f nginx-deployment.yaml

# 查看创建的资源
kubectl get pod -A

总结

selaos 可以快速的完成 K8s 集群的搭建和部署用于产品的快速交付，但是需要具备一定的代码研发能力可以足够掌握软件运行的细节并且结合实际的业务需求进行开发。