GitLab-CI/CD指南

cheniie2024-08-11 20:57

由于公司没有运维，写go服务时各个环境编译部署还是略显麻烦，由于代码管理使用的是 gitlab，所以决定使用 gitlab 自带的 CI/CD 来做自动编译和部署，这样每次提交代码以后就可以自动部署到服务器上了。

gitlab 本身只有 CI/CD 的接口，真正执行 CI/CD 任务的是 gilab runner，它负责与 gitlab 通信，接受 CI/CD 任务，并交给 Executor 执行，Executor 有7种类型：

  • Docker
  • Shell
  • Kubernetes
  • SSH
  • VirtualBox
  • Parallels
  • Custom

Executor的类型在注册 Runner 的时候确定，比较常用的是 Docker 和 SSH。GitLab，Runner 和 Executor 之间的关系如下图所示(图片来自GitLab官方文档)。

安装gitlab-runner

gitlab 的CI/CD 任务是通过 runner 来运行的，runner 也是 go 语言实现的。我们需要单独安装 runner，而且可以在任意位置安装。

runner 有 docker 版和可执行程序版，这里我选择的是可执行程序版，安装方式可以参考官网。

我的服务器是 linux，使用官方提供的脚本安装：

bash 复制代码 
curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh" | sudo bash

可执行程序名叫 gitlab-runner ，被放在 /usr/bin/ 目录下。

注册runner

runner 需要注册到 gitlab，其实就是把 runner 的信息告诉 gitlab，这样 gitlab 才知道把 CI/CD 任务交给谁运行。

注册 runner 的命令是 gitlab-runner register ，回车后会以交互式的方式注册 runner，其中比较重要的几个参数是：

  • executor：运行流水线的环境，也就是前面说的7种 Executor 类型，我使用本地 shell 运行流水线，所以输入 shell 。

  • url 和 registration-token：runner 和项目是挂钩的，所谓的注册，其实也就是把 runner 和某个项目关联起来。打开项目的 setting→CI/CD，找到 Runners 点击展开，在 Specific runners 栏下面就是我们需要的 url 和 token。如下图所示

当然，为每个项目注册一个 runner 也不太合适，我们可以为一个组注册一个 runner，点开某个组，url 和 token 可以在同样的地方找到。这样组内每个项目就都能使用这个 runner 了。此外，也可以给整个 gitlab 注册 runner，但是这需要 root 账号。

另外，同样的 url 和 token 可以注册多个runner，然后通过 tag 来决定项目使用哪个 runner。

注册 runner 和安装 runner 是两个概念，也就是说即便我们只安装了一个 runner，也能注册多个 runner。安装 runner 是下载可执行程序，而注册只是往 gitlab 设置一些配置信息，它和 runner 本身其实没太大关系，注意此时我们的 runner 还没有开始运行。

除了使用交互式注册，还可以使用非交互方式，命令如下：

bash 复制代码 
gitlab-runner register \
  --non-interactive \
  --url "https://gitlab.com/" \
  --registration-token "$PROJECT_REGISTRATION_TOKEN" \
  --executor "shell" \
  --description "share-runner" \
  --maintenance-note "Free-form maintainer notes about this runner" \
  --tag-list "shell,share" \
  --run-untagged="true" \
  --locked="false" \
  --access-level="not_protected"

注意到 --run-untagged 选项，它表示是否运行在没有标签的的分支上运行流水线。如果没有设置这个参数，也可以在 gitlab 页面上设置。就在我们查看 url 和 registration token 的地方，如果 runner 注册成功的话，可以看到下面的信息：

点击那个铅笔图标，可以设置 runner，在这里我们也可以勾选 run untagged jobs，如下图所示。

上面我的 runner 前面小圆点是绿色的，那是因为我的 runner 已经运行起来了。

注册完 runner 会生成配置文件 /etc/gitlab-runner/config.toml ，可以打开查看，我们配置的信息都在里面。

启动runner

在启动 runner 之前，我们可以先创建一个专门的用户来运行 runner，比如：

bash 复制代码 
useradd --comment 'GitLab Runner' --create-home gitlab-runner --shell /bin/bash

这里我们添加的用户叫 gitlab-runner ，你也可以使用被的用户，甚至 root ，或者为了方便部署，使用部署的用户。

然后安装并启动 gitlab 服务：

bash 复制代码 
gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runner
gitlab-runner start

所谓安装就是设置为系统服务，它会在 /etc/systemd/system/ 目录下生成 gitlab-runner.service 文件。

其他命令：

  • gitlab-runner stop 停止 gitlab-runner 服务。
  • gitlab-runner start 启动 gitlab-runner 服务。
  • gitlab-runner restart 重启 gitlab-runner 服务。
  • gitlab-runner status 查看 gitlab-runner 服务状态。
  • gitlab-runner uninstall 卸载 gitlab-runner 服务。
  • gitlab-runner list 列出所有注册的 runner。

编写流水线

我们通过在项目根目录下创建一个叫 .gitlab-ci.yml 的文件来定义流水线，也就是 CI/CD 如何执行。

流水线分为阶段和作业，阶段通过 stages 关键字定义，阶段是作业的容器，每个阶段内可以定义多个作业。阶段之间是串行执行的，阶段内的多个作业是并行执行的。

关于流水线的编写，可以参看官方文档，或者《GitLab CI/CD 从入门到实战》这本书。当然 gitlab 官方也提供了很多示例，各种语言都有，如果不知到如何开始，可以参考官方示例。

基本结构如下：

yaml 复制代码 
stages: # 定义阶段
 - test    # 阶段名
 - build   # 阶段名
 - deploy  # 阶段名
 
 unit_test:    # 作业名
	 stage: test # 作业属于 test 阶段
	 script:     # 作业执行的命令
		 - echo "unit test"
		 
compile:        # 作业名
	stage: build  # 作业属于 build 阶段
	script:       # 作业执行的命令
		- echo "build"
		
deploy_test:     # 作业名
	stage: deploy  # 作业属于 deploy 阶段
	secipt:        # 作业执行的命令
		- echo "deploy test"

我用的是 go 语言，使用 shell 运行和部署，只有测试环境和正式环境。

yaml 复制代码 
default:
  interruptible: true # 允许打断流水线

variables:
  GOBIN: "/usr/local/go/bin/go"
  GOINSECURE: git.i****d.com
  GOPRIVATE: git.i****d.com
  GOPROXY: https://goproxy.cn,direct

image: golang:latest

stages:
  - test
  - build
  - deploy

format:
  stage: test
  script:
    - echo "单元测试"
    - pwd
    - echo ~
    - echo $CI_COMMIT_BRANCH
    - echo $CI_DEFAULT_BRANCE
    - export GOINSECURE=$GOINSECURE
    - export GOPRIVATE=$GOPRIVATE
    - export GOPROXY=$GOPROXY
    - $GOBIN version
    - $GOBIN mod tidy
    - $GOBIN test -v 2>&1 | go-junit-report -set-exit-code > report.xml
  artifacts:
    when: always
    reports:
      junit: report.xml

compile:
  stage: build
  script:
    - echo "编译"
    - pwd
    - echo ~
    - export GOINSECURE=$GOINSECURE
    - export GOPRIVATE=$GOPRIVATE
    - export GOPROXY=$GOPROXY
    - $GOBIN version
    - $GOBIN mod tidy
    - mkdir -p _build
    - $GOBIN build -o _build/$CI_PROJECT_NAME main.go
  artifacts:
    expire_in: 1 hour
    paths:
      - _build

# 部署生产环境（仅release分支）
deploy_prod:
  stage: deploy
  variables:
    SERVER_IP: "1**.**.**.*"
  script: 
    - echo "部署生产环境"
    - ssh z**j@$SERVER_IP mkdir -p /data/z**j/$CI_PROJECT_NAME # 创建项目文件夹
    - ssh z**j@$SERVER_IP mkdir -p /data/z**j/$CI_PROJECT_NAME/config # 创建配置文件夹
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && [ -f run.sh ] && ./run.sh stop || :" # 停止服务
    - scp _build/$CI_PROJECT_NAME z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/ # 拷贝可执行文件
    - scp run.sh z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/ # 拷贝run.sh
    - scp config/application.prod.toml z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/config/application.toml # 拷贝配置文件
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && chmod +x run.sh"
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && ./run.sh start" # 重启服务
  only:
    - release # 仅release分支部署到生产环境
  environment: production

# 部署测试环境（非main和release分支）
deplog_test:
  stage: deploy
  variables:
    SERVER_IP: "1**.**.**.*"
  script:
    - echo "部署测试环境"
    - ssh z**j@$SERVER_IP mkdir -p /data/z**j/$CI_PROJECT_NAME # 创建项目文件夹
    - ssh z**j@$SERVER_IP mkdir -p /data/z**j/$CI_PROJECT_NAME/config # 创建配置文件夹
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && [ -f run.sh ] && ./run.sh stop || :" # 停止服务
    - scp _build/$CI_PROJECT_NAME z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/ # 拷贝可执行文件
    - scp run.sh z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/ # 拷贝run.sh
    - scp config/application.test.toml z**j@$SERVER_IP:/data/z**j/$CI_PROJECT_NAME/config/application.toml # 拷贝配置文件
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && chmod +x run.sh"
    - ssh z**j@$SERVER_IP "cd /data/z**j/$CI_PROJECT_NAME/ && ./run.sh start" # 重启服务
  except:
    - $CI_DEFAULT_BRANCH
    - release
  environment: test

多环境部署通过不同的分支来实现， .gitlab-ci.yml 中的 environment 关键字只是对部署任务做一个记录和分类，方便管理和查询部署任务，并无实际区分部署环境的功能。

相关推荐
墨理学AI13 小时前
GitHub 桌面版配置 ｜可视化界面进行上传到远程仓库 | gitLab 配置【把密码存在本地服务器】
gitlab·github·github 桌面版
月如琉璃15 小时前
1.gitlab 服务器搭建流程
服务器·gitlab
刘大辉在路上15 小时前
突发！！！GitLab停止为中国大陆、港澳地区提供服务，60天内需迁移账号否则将被删除
git·后端·gitlab·版本管理·源代码管理
沛沛老爹1 天前
什么是 DevOps 自动化？
大数据·ci/cd·自动化·自动化运维·devops
只会copy的搬运工2 天前
Jenkins 持续集成部署——Jenkins实战与运维（1）
运维·ci/cd·jenkins
tingkeiii2 天前
gitlab克隆仓库报错fatal: unable to access ‘仓库地址xxxxxxxx‘
gitlab
dami_king2 天前
项目开源能够带来什么?从中得到了什么?
开源·gitlab·github
kaixin_learn_qt_ing3 天前
Bazel CI
ci/cd
月如琉璃3 天前
0.gitlab ubuntu20.04 部署问题解决
gitlab
the丶only3 天前
单点登录平台Casdoor搭建与使用，集成gitlab同步创建删除账号
linux·运维·服务器·docker·gitlab
热门推荐
0119个Web前端交互式3D JavaScript框架和库02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04RAG 实践- Ollama+RagFlow 部署本地知识库05【一文读懂】NTN（非地面网络）技术介绍06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07ZZ038 物联网应用与服务赛题第J套08组基轨迹建模 GBTM的介绍与实现（Stata 或 R）09Docker 夺命连环 15 问10VSCode插件 —— Cody AI （免费AI助手！）