gitlab-ci 集成 k3s 部署spring boot 应用

环境

一台ECS gitlab 16.10

一台ECS gitlab-runner docker方式

一台腾讯云服务器 k3s k3s version v1.30.5+k3s1 (9b586704)

go version go1.22.6

本地: idea 2024

准备开始

gitlab上创建"api"仓库,本地IDEA 创建spring boot web demo项目k8s-gitlab-demo. 确保能正常打包，并本地可以通过java -jar xxx.jar 正常运行。然后推送到gitlab的"api"仓库，后面当代码更改后可以触发流水线
代码中根目录下增加Dockerfile，内容如下：

FROM openjdk:8-jdk
COPY ./*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java","-jar","app.jar"]

根目录下增加gitlab-ci.yml 注意名字是固定的不然流水线也不会触发。内容:

# 因为我们Runner执行器设置为docker, 所以这里需要指定docker的版本
image: docker:stable

variables:
  MAVEN_IMAGE: maven:3.5-jdk-8-alpine  # maven 打包使用的镜像
  K8S_IMAGE: registry.cn-hangzhou.aliyuncs.com/sanchar/kubectl:v1.20.1  # k8s 部署使用的镜像
  PROJECT_IMAGE_SERVER: registry.cn-hangzhou.aliyuncs.com  # 阿里云镜像地址
  PROJECT_IMAGE: registry.cn-hangzhou.aliyuncs.com/favision_anban/mes-web:1.0  # 项目镜像链接
  MAVEN_OPTS: -Dmaven.repo.local=/root/.m2/repository  # 指定 maven 本地仓库路径，以便做缓存
  PACKAGE_CACHE_REF_NAME: k8s-gitlab-demo-cache
  DEPLOYMENT_NAME: k8s-gitlab-demo  # 项目在 k8s 中部署的名称
  K8S_NS: demo  # k8s 命名空间

stages:
  - package
  - build
  - deploy

package:
  stage: package
  script:
    - echo "=============== 开始编译打包任务 ==============="
    - rm -fr /data/gitlab-runner/tmp/intelligent
    - mkdir -p /data/gitlab-runner/tmp/intelligent
    - mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml
    - cp -r target/*.jar Dockerfile /data/gitlab-runner/tmp/intelligent
  only:
    - master
  image:  $MAVEN_IMAGE

build:
  stage: build
  script:
    - echo "=============== docker build image  ==============="
    - cd /data/gitlab-runner/tmp/intelligent
    - docker build -t $PROJECT_IMAGE .
    - docker login --username $REG_USERNAME --password $REG_PASSWORD $PROJECT_IMAGE_SERVER
    - docker push $PROJECT_IMAGE
  only:
    - master


# 使用 k8s 部署
deploy:
  stage: deploy
  image: $K8S_IMAGE
  environment: k3s-gitlab

  # 构建 k8s 可执行环境
  before_script:
    - mkdir -p /etc/kubernetes
    - mv $K8S_ADMIN_CONF /etc/kubernetes/admin.conf
    - echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
    - source ~/.bash_profile
  script:
    - echo "=============== deploy  ==============="
    - if [ "$(kubectl get deployment -n $K8S_NS | grep $DEPLOYMENT_NAME | awk '{print $1}')" ]; then
    - kubectl set image deploy $DEPLOYMENT_NAME $DEPLOYMENT_NAME=$PROJECT_IMAGE -n $K8S_NS
    - kubectl scale deployment $DEPLOYMENT_NAME --replicas=0 -n $K8S_NS
    - kubectl scale deployment $DEPLOYMENT_NAME --replicas=1 -n $K8S_NS
    - else
    - mv $K8S_DEMO_YAML $DEPLOYMENT_NAME.yaml
    - kubectl apply -f $DEPLOYMENT_NAME.yaml -n $K8S_NS
    - fi
  only:
    - master
  environment: k3s-gitlab

gilab-ci.yml 涉及的内容比较多，如maven拉取镜像如何加速、阿里云镜像库如何登录、k3s客户端kubectl如何访问k3s集群。后面再展开。

根目录下增加k8s-demo.yaml,用来自动部署spring boot应用，内容如下:

---
apiVersion: v1
kind: Service
metadata:
 name: $DEPLOYMENT_NAME
 namespace: demo
 labels:
   app: ci-cd-demo
spec:
 type: NodePort
 ports:
   - name: ci-cd-demo
     port: 8080
     protocol: TCP
     nodePort: 30080
 selector:
   app: ci-cd-demo

---
apiVersion: apps/v1
kind: Deployment #对象类型
metadata:
 name: $DEPLOYMENT_NAME #名称
 labels:
   app: ci-cd-demo #标注
spec:
 replicas: 1 #运行容器的副本数，修改这里可以快速修改分布式节点数量
 selector:
   matchLabels:
     app: ci-cd-demo
 template:
   metadata:
     labels:
       app: ci-cd-demo
   spec:
     containers: #docker容器的配置
       - name: $DEPLOYMENT_NAME
         image: $PROJECT_IMAGE
         imagePullPolicy: Always
         ports:
           - containerPort: 8080
             protocol: TCP
         env:
           - name: JAVA_OPTS
             value: -Xms256m -Xmx256m
     imagePullSecrets:
       - name: aliyun-respository-secret

可以看到在gitlab.yml的流水线及k8s-demo.yaml中用到了很多的变量，如REG_USERNAME、 K8S_IMAGE、 K8S_ADMIN_CONF等有的变量文件中没有需要在gitlab->api仓库、设置->ci/cd->变量中增加。如图:

详细说明如下：

K8S_ADMIN_CONF: 为文件类型变量，内容是k3s的配置文件内容

具体位置在腾讯云服务器的/etc/rancher/k3s/k3s.yml

注意copy值之前要把里面的server地址改成服务器的外网地址,不能是127.0.0.1:6443.原始值如图：

改掉以后才能被阿里云ECS上的kubectl访问。

K8S-DEMO_YAML: 文件型变量,值为k8s-demo.yaml的内容，直接拷贝无需更改。

REG_USERNAME: 数值类型变量，为自己的阿里云私有仓库登录用户名

REG_PASSWORD: 数值类型变量，为自己的阿里云私有仓库登录密码

docker方式安装gitlab runner(和gitlab不是统一台ECS),然后后在api仓库中注册runner

不然流水线会一直阻塞，不会运行。

腾讯云服务器上安装k3s,为了使外网能访问需要使用--tls-san 选项，安装命令如下：

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--tls-san 你的服务器地址" sh -s -

具体原因参考：https://github.com/k3s-io/k3s/issues/1381

我使用的重装的方式，因为机器上已经安装好了k3s.其他方式还待研究，大神有好方式的请不吝留言赐教。

为了是containerd拉取镜像速度更快，需要在配置加速。

在腾讯云的shell下目录线执行：

cat >> /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  "docker.io":
    endpoint:
      - "https://po13h3y1.mirror.aliyuncs.com"
      - "http://hub-mirror.c.163.com"
      - "https://mirror.ccs.tencentyun.com"
      - "https://registry-1.docker.io"
      - "http://f1361db2.m.daocloud.io"
EOF
systemctl restart k3s

k3s安装成功后，由于后面要从阿里云拉取镜像部署spring boot,

所以要事前创建好阿里云的secret，名字要和k8s-demo.yaml中

的名字一致

执行命令：

  kubectl create namespace demo
  kubectl create secret docker-registry aliyun-  respository-secret \
    --docker-server=registry.cn-hangzhou.aliyuncs.com \
    --docker-username=你的阿里云用户名 \
    --docker-password=你的阿里云密码 \
    --docker-email=你的阿里云邮箱

注意要在腾讯云的防火墙开放k3s的6443端口，NodePort 30080端口

执行流水线

本地更改controller的任意代码，提交并推送到gitlab。可以看到流水线执行成功

然后登录到k3s服务器，输入可以看到有pod的一个副本在运行中！

kubectl get pod --namespace demo

可以执行如下命令，查看pod的信息

kubectl describe pod k8s-gitlab-demo-6994fcbbc7-5p5r4 --namespace demo

可以看到pod使用的镜像就是CI中推送到阿里云上的镜像,说明可以正常拉取，如果不正常，这个命令可以看到错误信息。

最后可以打开浏览器访问：
http://你的ip地址:30080/user

可以看到正常返回信息，

说明CI/CD部署成功！

注意和优化的地方

阿里云登录和外部访问k3s集群的地方上面已经讲过。这里主要说下maven加速。

在gitlab-ci.yml中可以看到mvn命令是runner拉取镜像并创建容器后才会有，在两台ECS和腾讯服务器的宿主机上均不会安装maven。如果你的流水线，在package阶段执行比较慢，在gitlab-runner服务器上通过docker ps命令可以看到有一个动态容器产生了，通过docker exec -it 容器id /bin/bash 进入容器，shell下执行 mvn

可以看到mvn是有效的，但是找到对应的settings.xml，里面基本上没有什么配置，更不能加速.但是因为这个容器是gitlab-runner创建的所以就要通过这个桥梁了。查看它的容器信息

docker inspect gitlab-runner

可以看到它挂载了host上的config文件和docker客户端，

  vim config.toml

在每个runner的docker部分都设置了挂载卷，其中就有.m2，host上目录就是 /data/.m2

ok，现在我们把自己配置了阿里云仓库的镜像的settings.xml上传到这个目录下，如图：

然后更改 gitlab-ci.yml中的mvn命令行(我已更改)，

- mvn clean package -P test -Dmaven.test.skip=true $MAVEN_OPTS --settings=/root/.m2/settings.xml

然后重新执行流水线。发现他会从aliyun上下载依赖，而不是超慢的maven2.

.这里还有个缓存的问题，以后在研究，如有大神知晓，请不吝留言赐教，谢谢！到此，就告一段落了，

enjoy！