同步jenkinsfile流水线（sync-job）

王大雏2023-08-19 21:15

环境

  • 变量：env（环境变量：sit/dev/simulation/prod/all），job（job-name/all）
  • 目录：/var/lib/jenkins/jenkinsfile

设计思路

  • 以sit环境的url和token作为基准baseUrl/baseToken
  • 若env=all则表示同步至所有环境
    • 循环获取env的环境变量，获取url和token
    • 若job=all则表示同步所有job
      • 获取当前基准环境下的job_list，循环获取jobname
      • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
    • 若job=jobname则同步单个job
    • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
  • 若env=env则表示同步至单个环境
    • 获取目标环境的url和token
    • 若job=all则表示同步所有job
      • 获取当前基准环境下的job_list，循环获取jobname
      • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
    • 若job=jobname则同步单个job
    • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job

完整代码

复制代码 
pipeline {
    agent any
    options {
        disableConcurrentBuilds()
    }
    parameters {
        string(name: "env", defaultValue: '', description: '')
        string(name: "job", defaultValue: '', description: '')
    }
    stages {
        stage("Sync job") {
            steps {
                script {
                    dir("/var/lib/jenkins/jenkinsfile") {
                        baseUrl = "http://xxx.xx.xx.com/"
                        baseToken = "test:xxxxxxxxxxxxxxxxxxxxxxxxxx"

                        def env = "${params.env}"
                        if ( env == "all" ) {
                            getEnvNumber = "cat environment.json | jq -r .environment[][] | wc -l"
                            def envNumber = sh(script: "$getEnvNumber", returnStdout:true).trim()
                            for ( i=2; i<=jobNumber.toInteger(); i++ ) {
                                getAllUrlCommand = "cat environment.json | jq -r .environment[][] | sed -n $i'p' | awk -F \"|\" '{print\$1}'"
                                getAllTokenCommand = "cat environment.json | jq -r .environment[][] | sed -n $i'p' | awk -F \"|\" '{print\$2}'"
                                def url = sh(script: "$getAllUrlCommand", returnStdout:true).trim()
                                def token = sh(script: "$getAllTokenCommand", returnStdout:true).trim()
                                
                                def job = "${params.job}"
                                if ( job== "all" ) {
                                    sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                    getJobNumber = "cat job_list.txt | jq -r .jobs[].name | wc -l"
                                    def jobNumber = sh(script: "$getJobNumber", returnStdout:true).trim()
                                    for (j=1; j<=jobNumber.toInteger(); j++) {
                                        def jobname = sh(script: "cat job_list.txt | jq -r .jobs[].name | sed -n $j'p'", returnStdout:true).trim()
                                        sh "sudo curl -X GET $baseUrl/job/$jobname/config.xml -u $baseToken -o config.xml"
                                        getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                        def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                        def str = sh(script: "curl -sX GET $url/job/$jobname/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                        if( str == "<html>") {
                                            sh "sudo curl -s -XPOST '$url/createItem?name=$jobname' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                        }
                                        else {
                                            sh "sudo curl -s -XPOST '$url/job/$jobname/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                        }
                                    }
                                }
                                else {
                                    sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                    sh "sudo curl -X GET $baseUrl/job/$job/config.xml -u $baseToken -o config.xml"
                                    getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                    def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                    def str = sh(script: "curl -sX GET $url/job/$job/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                    if( str == "<html>") {
                                        sh "sudo curl -s -XPOST '$url/createItem?name=$job' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                    else {
                                        sh "sudo curl -s -XPOST '$url/job/$job/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                }
                            }
                        }
                        else {
                            getUrlCommand = "cat environment.json | jq -r .environment[].$env | awk -F \"|\" '{print\$1}'"
                            getTokenCommand = "cat environment.json | jq -r .environment[].$env | awk -F \"|\" '{print\$2}'"
                            def url = sh(script: "$getUrlCommand", returnStdout:true).trim()
                            def token = sh(script: "$getTokenCommand", returnStdout:true).trim()
                            
                            def job = "${params.job}"
                            if ( job== "all" ) {
                                sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                getJobNumber = "cat job_list.txt | jq -r .jobs[].name | wc -l"
                                def jobNumber = sh(script: "$getJobNumber", returnStdout:true).trim()
                                for (j=1; j<=jobNumber.toInteger(); j++) {
                                    def jobname = sh(script: "cat job_list.txt | jq -r .jobs[].name | sed -n $j'p'", returnStdout:true).trim()
                                    sh "sudo curl -X GET $baseUrl/job/$jobname/config.xml -u $baseToken -o config.xml"
                                    getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                    def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                    def str = sh(script: "curl -sX GET $url/job/$jobname/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                    if( str == "<html>") {
                                        sh "sudo curl -s -XPOST '$url/createItem?name=$jobname' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                    else {
                                        sh "sudo curl -s -XPOST '$url/job/$jobname/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                }
                            }
                            else {
                                sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                sh "sudo curl -X GET $baseUrl/job/$job/config.xml -u $baseToken -o config.xml"
                                getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                def str = sh(script: "curl -sX GET $url/job/$job/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                if( str == "<html>") {
                                    sh "sudo curl -s -XPOST '$url/createItem?name=$job' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                }
                                else {
                                    sh "sudo curl -s -XPOST '$url/job/$job/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                }
                            }
                        }
                    }
                }
            }
        }
    }
}

ide思路：

每个环境不同

  • 进入code目录中，进入jenkins-pipeline/目录
  • ls -l获取目录下所有的子目录及文件，count所有子目录及文件的数量
  • for循环整个Jenkins-pipeline下的子目录和文件
    • 获取子目录或文件的name
    • 判断是否为目录
      • 若为目录则cd $name
        • ls -l获取目录下的所有文件，dircount所有文件的数量
          • for循环整个name下的所有文件
            • 获取jobname
            • 获取jobname所对应job的config.xml文件
            • 判断当前的job是否有config.xml的文件
              • 若第一行=<html>则无xml文件，在目标环境创建job
              • 若存在xml文件，则更新job
      • 若为文件则
        • 获取jobname
        • 获取jobname所对应job的config.xml文件
        • 判断当前的job是否有config.xml的文件
          • 若第一行=<html>则无xml文件，在目标环境创建job
          • 若存在xml文件，则更新job
相关推荐
雾时之林12 分钟前
Linux---计算机网络常见面试题
linux·运维·计算机网络
必须会一定会26 分钟前
用纯 HTML/JS 做一个 AI 需求澄清器：把模糊想法转换成可执行任务书
开发语言·前端·javascript·人工智能·html·ai编程
维核科技30 分钟前
多卡集群频繁裂卡、通信报错？NVLink故障排查与运维优化方案
运维·服务器维修·gpu维修·算力卡维修·gpu故障·算力卡故障·服务器故障
Promise微笑39 分钟前
红外热像仪选型：3～5μm中波与8～14μm长波探测机理解析
运维
承渊政道43 分钟前
飞牛NAS部署Immich:搭建家庭相册并实现远程访问
运维·服务器·docker·内网穿透·cpolar·nas·immich
橘色的喵1 小时前
EventPool 32-bit 带标签 CAS 池：RT-Thread 单核 + Linux 双平台无锁
linux·运维·服务器
buhuizhiyuci2 小时前
【Linux 网络篇】数据的 “循环系统“：协议认识与网络传输的流程
linux·运维·服务器·网络·vscode
雾时之林2 小时前
Linux------磁盘管理
linux·运维
数智工坊10 小时前
Zotero自建Ubuntu WebDAV附件同步方案（完美解决存储空间不足）
linux·运维·ubuntu
独隅11 小时前
GitHub Actions 自动化运维实战：CI/CD 流水线一体化效果展示
运维·自动化·github
热门推荐
01VSCode+CodeX扩展，无法启动02GitHub 镜像站点03国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）042026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？05微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新06如何新建文件夹？ 电脑新建文件夹的4种方法07历年考研数学一、数学二、数学三真题试卷及答案PDF08AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费102026年8月4日科技热点深度解析：AI大模型群雄逐鹿、卫星互联网组网提速、半导体封装材料革命