在CI/CD中使用submodule

背景信息

客户的submodule使用的是ssh协议拉取

前置操作

gitlab添加子模块

bash 复制代码
git clone ssh://git@kube.bdeet.top:2222/cicd/123.git
cd 123/
ls -la
git submodule add ssh://git@kube.bdeet.top:2222/approve/test-1.git
git submodule add ssh://git@kube.bdeet.top:2222/mr/123123.git
ls -la
cat .gitmodules
git add .
git commit -m 'add submodule repo'
git push

界面查看.gitmodules文件

在CI/CD中使用submodule

方法1: 使用相对路径的方式

该方法并不需要对ci文件进行大的调整,只需要添加GIT_SUBMODULE_STRATEGY: recursive关键字;但是需要修改submodule文件。

修改submodule文件

bash 复制代码
[submodule "test-1"]
	path = test-1
	url = ../../approve/test-1.git
[submodule "123123"]
	path = 123123
	url = ../../mr/123123.git

gitlab-ci文件

bash 复制代码
image: ubuntu:22.04
variables:
  GIT_SUBMODULE_STRATEGY: recursive
build2:
  script: 
    - echo "**************** $(date +'%H:%M:%S') Update DVC****************="
  tags:
    - docker-mac

方法2: 通过单独一个job来控制

该方法并不需要对submodule文件进行调整,但是需要对ci文件进行比较大的调整。另外需要注意的是GITLABUSERNAME和GITLAB_TOKEN都已经保存到变量中

另外就是里面的修改涉及到了对ssh端口是标准方式和非标准方式的修改

bash 复制代码
variables:
  GIT_STRATEGY: clone
  GIT_SUBMODULE_STRATEGY: none

default:
  tags:
    - docker-mac

test1:
  extends: .git:submodule
  stage: test
  script:
    - echo "input your code"

.git:submodule:
  before_script:
    # 还未update submodule之前
    - ls -l
    - ls 123123 test-1
    - pwd
    # 检查未替换前效果
    - cat .gitmodules
    ## 情况1: 标准的ssh
    # 调整.gitmodules中的url配置,ssh-> http,标准端口STEP1: 为了匹配https的url规范,需替换:为/
    #- sed -i "s/:/\//g" .gitmodules
    ## 情况2: 非标准的ssh
    # 调整.gitmodules中的url配置,ssh-> http,非标准端口STEP1: 为了删除前面的ssh://
    - sed -i "s%ssh://%%g" .gitmodules
    # 调整.gitmodules中的url配置,ssh-> http,非标准端口STEP1: 为了删除前面的端口数字
    - sed -i "s%:${CI_SERVER_SHELL_SSH_PORT}%%g" .gitmodules
    # STEP2: 加入submodule的用户名和personal token 换为http 模式的url
    - sed -i "s/git@/https:\/\/${GITLAB_USERNAME}:${GITLAB_TOKEN}@/g" .gitmodules
    # 检查替换后效果
    - cat .gitmodules
    # 做首层的submodule的拉取
    - git submodule sync
    - git submodule update --init
    # 检查拉取状态
    - git submodule
    # 检查submodule代码是否拉取成功
    - ls -l
  image:
    entrypoint: ['']
    name: bitnami/git

方法 3: 通过pre_get_sources_script关键字

该方法并不需要对submodule文件进行调整,只需要对ci文件进行稍微的调整即可。

将私钥以变量的方式通过base64加密添加到变量中

gitlab-ci文件

bash 复制代码
variables:
  GIT_STRATEGY: clone
  GIT_SUBMODULE_STRATEGY: recursive

default:
  tags:
    - '888'
    
build:
  image: ubuntu:latest
  script:
    - ls -l
    - ls -l envsubst
  hooks:
    pre_get_sources_script:
      - apk update
      - apk add openssh-client
      - eval $(ssh-agent -s)
      - echo $SSH_PRIVATE_KEY | base64 -d > id_rsa
      - chmod 400 id_rsa
      - ssh-add id_rsa
      - mkdir -p ~/.ssh
      - chmod 700 ~/.ssh
      - mv id_rsa ~/.ssh/
      - ssh-keyscan -t rsa $CI_SERVER_HOST >> ~/.ssh/known_hosts
相关推荐
极小狐2 小时前
定义可引用的 CI/CD 配置文件中的输入参数
gitlab·devsecops·devops·极狐gitlab·安全合规
佚明zj3 小时前
如何配置ssh key 到gitlab, 实现git push
git·ssh·gitlab
极小狐3 小时前
极狐GitLab CI/CD 功能合集(超详细教程)
ci/cd·gitlab·devsecops·devops
黑风风9 小时前
解决 GitLab CI/CD 中的 `413 Request Entity Too Large` 错误
ci/cd·gitlab
wang_book17 小时前
Gitlab学习(007 gitlab项目操作)
java·运维·git·学习·spring·gitlab
黑风风1 天前
如何安装和注册 GitLab Runner
gitlab
极小狐1 天前
Ruby-SAML CVE-2024-45409 漏洞解决方案
gitlab·devsecops·devops·极狐gitlab·安全合规
向往风的男子2 天前
【devops】devops-gitlab之部署与日常使用
运维·gitlab·devops
soaring01212 天前
Gitlab实现多项目触发式自动CICD
pipeline·gitlab·triggers·access tokens
cn_newer2 天前
gitlab/极狐-离线包下载地址
gitlab·devops·极狐·离线包下载