DevOps持续集成-Jenkins（4）

摸鱼打酱油2023-10-26 13:56

文章目录

DevOps

DevOps概述

软件开发最初是由两个团队共同组成：（没有采用DevOps之前）

  • 开发团队：从头开始设计和整体系统的构建（编写代码）。需要系统不停的迭代更新。
  • 运维团队：将开发团队的代码进行测试通过后再部署上线。确保系统稳定运行。

没有采用DevOps的缺点：

  • 这看似两个目标不同的团队需要协同完成一个软件的开发。在开发团队指定好计划并完成编写代码后，需要把代码交给运维团队。运维团队向开发团队反馈需要修复的BUG以及一些需要返工的任务。这时开发团队需要经常等待运维团队的反馈。这无疑会延长整个软件开发的周期。

采用DevOps的优点？

  • DevOps的方式可以让公司能够更快地应对更新和市场发展变化，开发可以快速交付，部署也更加稳定。核心就在于简化Dev和Ops团队之间的流程，使整体软件开发过程更快速。说白了就是DevOps有利于快速完成项目，不会浪费时间）

整体的软件开发流程：

  • PLAN：开发团队根据客户的目标制定开发计划
  • CODE：根据PLAN开始编码过程，需要将不同版本的代码存储在一个库中。
  • BUILD：编码完成后，需要将代码构建并且运行。
  • TEST：成功构建项目后，需要测试代码是否存在BUG或错误。
  • DEPLOY：代码经过手动测试和自动化测试后，认定代码已经准备好部署并且交给运维团队。
  • OPERATE：运维团队将代码部署到生产环境中。
  • MONITOR：项目部署上线后，需要持续的监控产品。
  • INTEGRATE：然后将监控阶段收到的反馈发送回PLAN阶段，整体反复的流程就是DevOps的核心 ，即持续集成、持续部署。

为了保证整体流程可以高效的完成，各个阶段都有比较常见的工具，如下图：

Jenkins流水线任务入门⭐

Jenkins流水线任务的Hello World体验⭐



Jenkins流水线语法例子
sh 复制代码 
// 所有脚本命令包含在pipeline{}中
pipeline {  
	// 指定任务在哪个Jenkins集群节点中执行（Jenkins是支持分布式）
	// 这里的agent any是指该任务可以在任何Jenkins集群节点上执行。
    agent any
    
    // 声明全局变量，格式为：key='value'
    environment{
    	host = '192.168.184.80'
    }

    // 存放所有任务的合集
    stages {
    	// 单个任务1
        stage('任务1') {
        	// 实现任务的具体流程
            steps {
                echo '做任务1'
            }
        }
		// 单个任务2
        stage('任务2') {
        	// 实现任务的具体流程
            steps {
                echo '做任务2'
            }
        }
        // 单个任务3
        stage('任务3') {
        	// 实现任务的具体流程
            steps {
                echo '做任务3'
            }
        }
        
        
        
    }
}
Jenkins流水线语法生成器⭐


Jenkins实战4：构建pipeline（流水线）的Jenkins项目⭐

项目架构图
Jenkins实战4的初步流水线模板（功能全部都未实现）⭐
sh 复制代码 
pipeline {
    agent any

    // 存放所有任务的集合
    stages {
        stage('拉取Git仓库代码') {
            steps {
                echo '拉取Git仓库代码 - SUCCESS'
            }
        }
        
        stage('通过maven构建项目') {
            steps {
                echo '通过maven构建项目 - SUCCESS'
            }
        }
        
        stage('通过SonarQube做代码质量检测') {
            steps {
                echo '通过SonarQube做代码质量检测 - SUCCESS'
            }
        }

        stage('通过Docker制作自定义镜像') {
            steps {
                echo '通过Docker制作自定义镜像 - SUCCESS'
            }
        }

        stage('将自定义镜像推送到Harbor仓库') {
            steps {
                echo '将自定义镜像推送到Harbor仓库 - SUCCESS'
            }
        }

        stage('通过Publish Over SSH通知目标服务器') {
            steps {
                echo '通过Publish Over SSH通知目标服务器 - SUCCESS'
            }
        }
    }
}
Jenkinsfile配置⭐
在项目中编写Jenkinsfile来维护pipeline模板（以后我们的pipeline语法都放在这个文件上）⭐
  • 注意：该文件名一定要为：Jenkinsfile
  • Jenkinsfile文件内容放在了上面，可以直接复制！
在Jenkins中配置Jenkinsfile在gitlab上的地址⭐




测试构建，看看Jenkinsfile是否能生效
架构图第2步案例：将gitlab上面的项目代码拉取到Jenkins中⭐

  • 1：配置git参数：（根据tag去拉取代码）

  • 2：生成拉取git代码的流水线语法：

    • *生成的语法代码块如下：（注意：下面有个地方（branches的name从原来是/main被我改成了${tag}，如果安装默认生成的话，则是拉取最新版本代码，我们这个意思就是安装tag去拉取对应代码）和系统生成的语法不一样！！）**
    sh 复制代码 
    checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])

  • 3：把生成的pipeline语法放到Jenkinsfile文件的指定位置：
  • 4：测试构建：
架构图第3步案例：利用Maven构建项目的jar包⭐
  • 1：生成流水线语法：（生成如下）
    • 注意：/var/jenkins_home/maven/bin/mvn要改成你的maven的mvn地址。
sh 复制代码 
sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
  • 2：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（省略！）
架构图第4步案例：给Jenkins的pipeline任务配置SonarQube自动进行代码质量检测⭐
  • 1：生成流水线语法：（生成如下）
    • 注意：下面的-Dsonar.login要用自己的SonarQube的token
    • 注意：/var/jenkins_home/sonar-scanner/bin/sonar-scanner要改成你的sonar-scanner地址
sh 复制代码 
sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'
  • 2：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（省略！）
架构图第5步案例：Jenkins制作自定义镜像并上传到Harbor⭐
  • 1：生成制作自定义镜像的流水线语法（生成如下）：
sh 复制代码 
sh '''mv ./target/*.jar ./docker/
docker build -t ${JOB_NAME}:${tag} ./docker/'''
  • 2：在Jenkinsfile文件定义全局变量environment：（记得要把下面的内容改成你自己的！）
    • harborAddress是harbor地址
    • harborRepo是harbor仓库名
    • harborUser是harbor账号
    • harborPasswd是Harbor密码
sh 复制代码 
    environment{
        harborAddress = '192.168.184.80:80'
        harborRepo = 'repo'
        harborUser = 'admin'
        harborPasswd = 'Harbor12345'
    }
  • 3：生成将镜像上传到Harbor仓库的流水线语法（生成如下）：
sh 复制代码 
sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}
docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''

  • 4：防止Jenkins内部不能使用Docker，所以重新设置一下权限：（有时候即使设置了权限也会自动变回来，导致pipeline报错）

    • 切换目录到/var/run/：
    shell 复制代码 
    [root@centos7-jenkins harbor]# cd /var/run/
    • 修改docker.sock文件的所属组：
    shell 复制代码 
    [root@centos7-jenkins run]# chown root:root docker.sock
    • 修改docker.sock文件的权限：
    shell 复制代码 
    [root@centos7-jenkins run]# chmod o+rw docker.sock

  • 5：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。

  • 6：执行构建即可。
  • 7：进入Harbor可视化界面，查看pipeline镜像是否push成功：
架构图第6-7步案例：通知目标服务器可以从Harbor上拉取镜像，并运行容器（注意：这里有个坑！）⭐
  • 1：在所有目标服务器上都放一份shell脚本文件：（原理是：Jenkins通知目标服务器去执行shell脚本文件，从而让目标服务器在Harbor上面拉取指定镜像。）
    • 原来的架构图上是把Dockerfile传到目标服务器，让目标服务器通过docker build构建镜像（缺点是当目标服务器有多台，那每一台目标服务器都需要build构建一次，n台服务器就是n次，这样十分浪费服务器资源）。
    • 现在的架构图是把镜像在Jenkins容器内构建，然后把镜像push到Harbor上，Jenkins通知所有目标服务器（不管有多少台），然后目标服务器就会执行下面的shell脚本，会从Harbor拉取指定镜像，这样一来，不管有多少台目标服务器都只是build构建一次，节省了很多资源。
shell 复制代码 
vi /root/deploy.sh

内容如下：

sh 复制代码 
harbor_addr=$1
harbor_repo=$2
project=$3
version=$4
host_port=$5
container_port=$6

imageName=$harbor_addr/$harbor_repo/$project:$version

containerId=`docker ps -a | grep ${project} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
    docker stop $containerId
    docker rm $containerId
fi

tag=`docker images | grep ${project} | awk '{print $2}'`

if [[ "$tag" =~ "$version" ]] ; then
    docker rmi -f $imageName
fi

docker login -u admin -p Harbor12345 $harbor_addr

docker pull $imageName

docker run -d -p $host_port:$container_port --name $project $imageName

echo "SUCCESS"
  • 2：给deploy.sh权限：
shell 复制代码 
chmod a+x /root/deploy.sh
  • 3：把所有目标服务器的deploy.sh都放到/usr/bin下：
shell 复制代码 
[root@centos7-jenkins ~]# mv /root/deploy.sh /usr/bin/
  • 4：配置Jenkins参数：

  • 5：生成流水线语法：

    • 提示Exec command：
    sh 复制代码 
    deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port



  • 6：将生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（⭐注意这里有个坑！⭐）

    • 坑坑坑！！！：sshPublisher的execCommand要用双引号，默认是单引号。（一定要改成双引号，否则语法无法生效！⭐）

    ⭐下面的是修改之后的，并且是测试通过的流水线语法！！：

sh 复制代码 
sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
  • 7：最后测试构建即可（省略！）
Jenkins流水线整合钉钉：在构建完成后通知信息（新增⭐）
下载安装钉钉，并且注册账号（电脑版和手机版都行）⭐

钉钉下载官网

在Jenkins中下载钉钉插件（DingTalk 2.4.7版本）⭐
在钉钉创建一个企业（不然无法申请项目群）⭐


在钉钉创建一个新的项目群⭐



在钉钉的项目群里创建一个机器人⭐




在Jenkins中配置这个机器人⭐



Jenkinsfile配置钉钉⭐
  • 1：编写流水线语法：
    • 注意：robot的值就是我们在Jenkins的系统配置所设置的机器人id！！（一定要进行修改）
sh 复制代码 
post {
        success {
            dingtalk (
                robot: 'Jenkins-dingding',
                type:'MARKDOWN',
                title: "success: ${JOB_NAME}",
                text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
            )
        }
        failure {
            dingtalk (
                robot: 'Jenkins-dingding',
                type:'MARKDOWN',
                title: "fail: ${JOB_NAME}",
                text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
            )
        }
    }
  • 2：将上面的语法放到Jenkinsfile的stages外面，并上传gitlab：
  • 3：点击构建Jenkins
  • 4：查看钉钉项目群：
实战4的Jenkinsfile全部代码⭐
json 复制代码 
pipeline {
    agent any

    environment{
        harborAddress = '192.168.184.80:80'
        harborRepo = 'repo'
        harborUser = 'admin'
        harborPasswd = 'Harbor12345'
    }
    // 存放所有任务的集合
    stages {
        stage('拉取Git仓库代码') {
            steps {
               checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])
            }
        }

        stage('通过maven构建项目') {
            steps {
                sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
            }
        }

        stage('通过SonarQube做代码质量检测') {
            steps {
                sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'
            }
        }

        stage('通过Docker制作自定义镜像') {
            steps {
                sh '''mv ./target/*.jar ./docker/
                docker build -t ${JOB_NAME}:${tag} ./docker/'''
            }
        }

        stage('将自定义镜像推送到Harbor仓库') {
            steps {
                sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}
                docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
                docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''
            }
        }

        stage('通过Publish Over SSH通知目标服务器') {
            steps {
            sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
        }
    }

    post {
            success {
                dingtalk (
                    robot: 'Jenkins-dingding',
                    type:'MARKDOWN',
                    title: "success: ${JOB_NAME}",
                    text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
                )
            }
            failure {
                dingtalk (
                    robot: 'Jenkins-dingding',
                    type:'MARKDOWN',
                    title: "fail: ${JOB_NAME}",
                    text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
                )
            }
        }

}
相关推荐
HoweWWW23 分钟前
k8s-API 访问控制
云原生·容器·kubernetes
星辰@Sea29 分钟前
服务注册中心对比及使用场景分析
java·云原生
2420301 小时前
Docker笔记-容器数据卷
docker
shelby_loo2 小时前
通过 Docker 部署 WordPress 服务器
服务器·docker·容器
minsin3 小时前
【linux】【docker】Docker默认网段配置导致无法访问
docker
专家大圣4 小时前
云原生信息安全：筑牢数字化时代的安全防线
安全·云原生
悲伤的创可贴5 小时前
Docker安装以及简单使用
linux·docker·centos
方圆师兄6 小时前
docker快速搭建kafka
docker·容器·kafka
小的~~7 小时前
k8s使用本地docker私服启动自制的flink集群
docker·flink·kubernetes
诚诚k7 小时前
docker存储
运维·docker·容器
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04苍穹外卖面试总结05yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07软件工程从理论到实践客观题汇总(头歌第一章至第八章)08Coze扣子平台完整体验和实践（附国内和国际版对比）09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10CCF-CSP认证考试 202406-3 文本分词 100分题解