同步jenkinsfile流水线（sync-job）

王大雏2023-08-19 21:15

环境

  • 变量：env（环境变量：sit/dev/simulation/prod/all），job（job-name/all）
  • 目录：/var/lib/jenkins/jenkinsfile

设计思路

  • 以sit环境的url和token作为基准baseUrl/baseToken
  • 若env=all则表示同步至所有环境
    • 循环获取env的环境变量，获取url和token
    • 若job=all则表示同步所有job
      • 获取当前基准环境下的job_list，循环获取jobname
      • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
    • 若job=jobname则同步单个job
    • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
  • 若env=env则表示同步至单个环境
    • 获取目标环境的url和token
    • 若job=all则表示同步所有job
      • 获取当前基准环境下的job_list，循环获取jobname
      • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job
    • 若job=jobname则同步单个job
    • 判断当前的job是否有config.xml的文件
        • 若第一行=<html>则无xml文件，在目标环境创建job
        • 若存在xml文件，则更新job

完整代码

复制代码 
pipeline {
    agent any
    options {
        disableConcurrentBuilds()
    }
    parameters {
        string(name: "env", defaultValue: '', description: '')
        string(name: "job", defaultValue: '', description: '')
    }
    stages {
        stage("Sync job") {
            steps {
                script {
                    dir("/var/lib/jenkins/jenkinsfile") {
                        baseUrl = "http://xxx.xx.xx.com/"
                        baseToken = "test:xxxxxxxxxxxxxxxxxxxxxxxxxx"

                        def env = "${params.env}"
                        if ( env == "all" ) {
                            getEnvNumber = "cat environment.json | jq -r .environment[][] | wc -l"
                            def envNumber = sh(script: "$getEnvNumber", returnStdout:true).trim()
                            for ( i=2; i<=jobNumber.toInteger(); i++ ) {
                                getAllUrlCommand = "cat environment.json | jq -r .environment[][] | sed -n $i'p' | awk -F \"|\" '{print\$1}'"
                                getAllTokenCommand = "cat environment.json | jq -r .environment[][] | sed -n $i'p' | awk -F \"|\" '{print\$2}'"
                                def url = sh(script: "$getAllUrlCommand", returnStdout:true).trim()
                                def token = sh(script: "$getAllTokenCommand", returnStdout:true).trim()
                                
                                def job = "${params.job}"
                                if ( job== "all" ) {
                                    sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                    getJobNumber = "cat job_list.txt | jq -r .jobs[].name | wc -l"
                                    def jobNumber = sh(script: "$getJobNumber", returnStdout:true).trim()
                                    for (j=1; j<=jobNumber.toInteger(); j++) {
                                        def jobname = sh(script: "cat job_list.txt | jq -r .jobs[].name | sed -n $j'p'", returnStdout:true).trim()
                                        sh "sudo curl -X GET $baseUrl/job/$jobname/config.xml -u $baseToken -o config.xml"
                                        getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                        def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                        def str = sh(script: "curl -sX GET $url/job/$jobname/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                        if( str == "<html>") {
                                            sh "sudo curl -s -XPOST '$url/createItem?name=$jobname' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                        }
                                        else {
                                            sh "sudo curl -s -XPOST '$url/job/$jobname/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                        }
                                    }
                                }
                                else {
                                    sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                    sh "sudo curl -X GET $baseUrl/job/$job/config.xml -u $baseToken -o config.xml"
                                    getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                    def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                    def str = sh(script: "curl -sX GET $url/job/$job/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                    if( str == "<html>") {
                                        sh "sudo curl -s -XPOST '$url/createItem?name=$job' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                    else {
                                        sh "sudo curl -s -XPOST '$url/job/$job/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                }
                            }
                        }
                        else {
                            getUrlCommand = "cat environment.json | jq -r .environment[].$env | awk -F \"|\" '{print\$1}'"
                            getTokenCommand = "cat environment.json | jq -r .environment[].$env | awk -F \"|\" '{print\$2}'"
                            def url = sh(script: "$getUrlCommand", returnStdout:true).trim()
                            def token = sh(script: "$getTokenCommand", returnStdout:true).trim()
                            
                            def job = "${params.job}"
                            if ( job== "all" ) {
                                sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                getJobNumber = "cat job_list.txt | jq -r .jobs[].name | wc -l"
                                def jobNumber = sh(script: "$getJobNumber", returnStdout:true).trim()
                                for (j=1; j<=jobNumber.toInteger(); j++) {
                                    def jobname = sh(script: "cat job_list.txt | jq -r .jobs[].name | sed -n $j'p'", returnStdout:true).trim()
                                    sh "sudo curl -X GET $baseUrl/job/$jobname/config.xml -u $baseToken -o config.xml"
                                    getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                    def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                    def str = sh(script: "curl -sX GET $url/job/$jobname/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                    if( str == "<html>") {
                                        sh "sudo curl -s -XPOST '$url/createItem?name=$jobname' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                    else {
                                        sh "sudo curl -s -XPOST '$url/job/$jobname/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                    }
                                }
                            }
                            else {
                                sh "sudo curl -X GET $baseUrl/api/json?pretty=true -u $baseToken > job_list.txt"
                                sh "sudo curl -X GET $baseUrl/job/$job/config.xml -u $baseToken -o config.xml"
                                getCRUMBCommand= "sudo curl -s '$url/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,\":\",//crumb)' -u $token"
                                def CRUMB = sh(script: "$getCRUMBCommand", returnStdout:true).trim()
                                def str = sh(script: "curl -sX GET $url/job/$job/config.xml -u $token | sed -n 1p", returnStdout:true).trim()
                                if( str == "<html>") {
                                    sh "sudo curl -s -XPOST '$url/createItem?name=$job' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                }
                                else {
                                    sh "sudo curl -s -XPOST '$url/job/$job/config.xml' -u $token --data-binary @config.xml -H \"$CRUMB\" -H \"Content-Type:text/xml\""
                                }
                            }
                        }
                    }
                }
            }
        }
    }
}

ide思路：

每个环境不同

  • 进入code目录中，进入jenkins-pipeline/目录
  • ls -l获取目录下所有的子目录及文件，count所有子目录及文件的数量
  • for循环整个Jenkins-pipeline下的子目录和文件
    • 获取子目录或文件的name
    • 判断是否为目录
      • 若为目录则cd $name
        • ls -l获取目录下的所有文件，dircount所有文件的数量
          • for循环整个name下的所有文件
            • 获取jobname
            • 获取jobname所对应job的config.xml文件
            • 判断当前的job是否有config.xml的文件
              • 若第一行=<html>则无xml文件，在目标环境创建job
              • 若存在xml文件，则更新job
      • 若为文件则
        • 获取jobname
        • 获取jobname所对应job的config.xml文件
        • 判断当前的job是否有config.xml的文件
          • 若第一行=<html>则无xml文件，在目标环境创建job
          • 若存在xml文件，则更新job
相关推荐
云计算-Security6 分钟前
Jenkins 执行器（Executor）如何调整限制？
运维·jenkins
***似水流年***16 分钟前
Linux任务管理与守护进程
linux·运维·服务器
沐土Arvin29 分钟前
深入理解 requestIdleCallback：浏览器空闲时段的性能优化利器
开发语言·前端·javascript·设计模式·html
天天爱吃肉82181 小时前
车载以太网驱动智能化：域控架构设计与开发实践
java·运维·网络协议·微服务
愚润求学2 小时前
【Linux】进程间通信（一）：认识管道
linux·运维·服务器·开发语言·c++·笔记
SHUIPING_YANG2 小时前
Nginx 返回 504 状态码表示 网关超时（Gateway Timeout）原因排查
运维·nginx·gateway
光不度AoKaNa3 小时前
计算机操作系统概要
linux·运维·服务器
晚秋大魔王3 小时前
OpenHarmony 开源鸿蒙南向开发——linux下使用make交叉编译第三方库——wget
java·linux·运维·开发语言·华为·harmonyos
孤的心了不冷3 小时前
【Linux】Linux安装并配置MongoDB
linux·运维·mongodb·容器
南棱笑笑生3 小时前
20250517让NanoPi NEO core开发板在Ubuntu core16.04.2下支持TF卡的热插拔
linux·运维·ubuntu
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！05DeepSeek各版本说明与优缺点分析06Coze扣子平台完整体验和实践（附国内和国际版对比）07Ubuntu24.04安装中文输入法08YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU09苍穹外卖面试总结10Ubuntu 20.04 系统如何优雅地安装NCL？