瑞芯微RK3588+麒麟V10国防版+昇腾310异构部署k8s集群+KubeSphere

1.产品属性

昇腾310B上一篇已经介绍，这里不再写。

RK3588 是瑞芯微推出的旗舰级高性能 ARM 处理器,内置 6TOPS 算力的 NPU，适合边缘计算、工业控制和人工智能领域。

CPU和系统信息：

服务器情况

主机名	设备	架构	OS	配置	IP
master1	rk3588	arm64	麒麟V10国防版	8核8G	192.168.37.14
master2	rk3588	arm64	麒麟V10国防版	8核8G	192.168.37.16
master3	rk3588	arm64	麒麟V10国防版	8核8G	192.168.37.18
node1	310B	arm64	欧拉22.03	4核12G	192.168.37.12
node2	rk3588	arm64	麒麟V10国防版	8核8G	192.168.37.20
node3	rk3588	arm64	麒麟V10国防版	8核8G	192.168.37.22

2.环境准备

2.1 上传安装包

将离线制品、配置文件、kt和sh脚本等上传至其中一个节点(本文以master为例)，后续在该节点操作创建集群。这里我们为追求稳定性选择了k8s 1.23.17版本+ks 4.1.3版本

关于kt

kt是基于kk二次开发的产物，具备kk的所有功能。二开主要为适配信创国产化环境、简化arm部署过程和国产化环境离线部署。支持arm64和amd64架构国产操作系统，已适配芯片+操作系统如下。

kt****新增功能点

适配arm架构harbor和支持，部署体验与X86一样简单。
离线环境部署增强。常用国际和国产操作系统依赖，内置到安装包中。已适配芯片和操作系统如下
- ./kt init-os -f config-sample.yaml 一条命令完成所有节点操作系统依赖安装和初始化操作。
- CPU：鲲鹏、飞腾、海光、兆芯、intel、amd等。
- OS：Centos、Rocky Linux、Ubuntu、Debian、银河麒麟V10、麒麟V11、麒麟国防版、麒麟信安、中标麒麟V7、统信UOS、华为欧拉、移动大云、阿里龙蜥、TencentOS等。

2.2 修改配置文件

修改config-sample.yaml，主要修改节点信息部分(如下hosts和roleGroups部分)

plain 复制代码

kind: Cluster
metadata:
  name: sample
spec:
  hosts:
  - {name: master1, address: 192.168.137.14, internalAddress: 192.168.137.14, user: root, password: "123123", arch: "arm64"}
  - {name: master2, address: 192.168.137.16, internalAddress: 192.168.137.16, user: root, password: "123123", arch: "arm64"}
  - {name: master3, address: 192.168.137.18, internalAddress: 192.168.137.18, user: root, password: "123123", arch: "arm64"}
  - {name: node1, address: 192.168.137.12, internalAddress: 192.168.137.12, user: root, password: "123123", arch: "arm64"}
  - {name: node2, address: 192.168.137.20, internalAddress: 192.168.137.20, user: root, password: "123123", arch: "arm64"}
  - {name: node3, address: 192.168.137.22, internalAddress: 192.168.137.22, user: root, password: "123123", arch: "arm64"}
  roleGroups:
    etcd:
    - master1
    - master2
    - master3
    control-plane:
    - master1
    - master2
    - master3
    worker:
    - node1
    - node2
    - node3
    # 如需使用 kk 自动部署镜像仓库，请设置该主机组 （建议仓库与集群分离部署，减少相互影响）
    # 如果需要部署 harbor 并且 containerManager 为 containerd 时，由于部署 harbor 依赖 docker，建议单独节点部署 harbor
    registry:
    - master3
  controlPlaneEndpoint:
    ## Internal loadbalancer for apiservers
    internalLoadbalancer: haproxy

    domain: lb.kubesphere.local
    address: ""
    port: 6443
  kubernetes:
    version: v1.23.17
    clusterName: cluster.local
    autoRenewCerts: true
    containerManager: docker
  etcd:
    type: kubekey
  network:
    plugin: flannel
    kubePodsCIDR: 10.233.64.0/18
    kubeServiceCIDR: 10.233.0.0/18
    ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
    multusCNI:
      enabled: false

2.3 系统初始化

解压kt-arm64.tar.gz文件后执行./kt init-os -f config-sample.yaml

3.创建私有仓库

执行./kt init resigtry -f config-sample.yaml -a artica*

等待一切安装成功后，创建 Harbor 项目

plain 复制代码

chmod +x create_project_harbor.sh && ./create_project_harbor.sh

注意事项：如果系统提示缺少iptables，则需要安装先安装iptables

4.创建k8s集群

plain 复制代码

./kt create cluster -f config-sample.yaml -a artifact-arm-k8s12317tar.gz

此命令kt会自动将离线制品中的镜像推送到harbor 私有仓库

执行后会有如下提示,输入yes/y继续执行

等待最后提示安装成功，

注意：由于该麒麟V10国防版是瑞芯微定制版，内核缺少非常多的东西，安装过程会报错。大体如下：

需要安装内核模块，再创建k8s。

最后k8s创建完成，还是会报错,起初nodelocaldns会报错，需要安装dummy模块。

这里还需要修改kube-proxy和kube-flannel配置。

都修改完成后重启服务，等待一会。

查看节点状态

plain 复制代码

kubectl get nodes -owide

可以看到所有节点状态均已 Ready，共有3个管理节点和3个工作节点，其中管理节点也充当工作节点。

查看pod运行情况

plain 复制代码

kubectl get pod -A -owide

可以看到所有pod已成功运行(ps:以下截图为装完ks和插件的截图)

5.部署KubeSphere

使用helm命令通过私有仓库安装ks

plain 复制代码

helm upgrade --install -n kubesphere-system --create-namespace ks-core ks-core-1.1.5.tgz \
     --set global.imageRegistry=dockerhub.kubekey.local/ks \
     --set extension.imageRegistry=dockerhub.kubekey.local/ks \
     --set ksExtensionRepository.image.tag=v1.1.6 \
     --debug \
     --wait

等待一会看到成功的消息