Linux云计算 |【第二阶段】AUTOMATION-DAY3

主要内容:

Jenkins项目管理、构建分发服务器、自动化上线的案例部署

**补充:**yum与dnf只是做了快捷方式,用法一样

bash 复制代码
[root@node1 ~]# ll /bin/yum
lrwxrwxrwx. 1 root root 5 Feb 18  2020 /bin/yum -> dnf-3
[root@node1 ~]# ll /bin/dnf
lrwxrwxrwx. 1 root root 5 Feb 18  2020 /bin/dnf -> dnf-3

**补充:**wget常用下载选项

[-q] 静默模式下载,不显示下载过程

[-O] 指定将文件下载到哪里


一、CI/CD工作介绍

持续集成(CI):

① Develop开发者写代码(push推送到GitLab)

② Jenkins构建项目(从GitLab下载代码)

构建过程可定义任务:发邮件、打包代码(maven:tar/jar)、编译/测试代码

持续部署(CD):

③ 上线应用服务器(如web服务器)

开发者编写代码的程序类型:

  • 编译型,编译器(如C、C++)

编译器是把源代码转换成即翻译低级语言的程序(生成一个独立的程序)

  • 解释型,解释器(如Python、JavaScript)

解释器是直接执行用编程语言编写的指令的程序,解释的程序总是需要解释器来运行

编译器与解释器区别:

  • **主要区别:**程序运行时需要解释器边解释边执行,而编译器则在运行时是完全不需要的
  • **解释器的优点:**比较容易让用户实现自己跨平台的代码,比如java,php等,同一套代码可以在几乎所有的操作系统上执行,而无需根据操作系统做修改,但需要解释器解释;
  • **编译器的目的:**生成目标代码再由连接器生成可执行的机器码,需要根据不同的操作系统重新编制代码可执行文件,但其执行效率要远远高于解释器运行的程序;

案例1:Jenkins项目管理

案例要求:创建Jenkins项目、修改Jenkins项目配置

环境准备:(沿用DAY02的实验环境:已部署GitLab、Jenkins):

  • 1)5台RHEL8虚拟机,主机名分别为develop、git、jenkins、web1和web2;
  • 2)develop主机的IP地址为192.168.4.10;
  • 3)git主机的IP地址为192.168.4.20;
  • 4)jenkins主机的IP地址为192.168.4.30;
  • 5)web1和web2主机的IP地址分别为192.168.4.100和192.168.4.200;
  • 6)所有主机都需要配置可用的系统YUM源,设置防火墙信任所有,SELinux放行所有

步骤1:Jenkins创建项目

**1)浏览器访问Jenkins服务器8080端口:**http://192.168.4.30:8080

创建Jenkins项目,登录后,点击【新建任务】创建

创建任务,填写任务(工程)名称:myweb(可任意),选择任务风格(下载代码就为一个任务)

① 设置Git参数-【参数化构建过程】

默认Jenkins会拉取最新版本的代码,设置让Jenkins拉取指定分支或标签(tag)的代码;

Git参数名称/描述:web(定义参数变量 ),参数类型(分支或标签 )、默认值:origin/master

② 设置Git参数-【源码管理】

定义Git仓库的URL路径http://192.168.4.20/devops/myproject.git

指定下载克隆的版本或分支:$web(调用Git参数变量web,参数类型已定义分支或标签)

2)构建Jenkins项目

选择创建的任务myweb

项目菜单选择【Build with Parameters】

Jenkins会自动连接GitLab服务器获取仓库数据

选择一个版本(分支或标签),点击【开始构建】

可在控制台中查看构建日志(#1)及查看构建过程(控制台输出)

3)查看Jenkins拉取的代码数据(Jenkins主机,192.168.4.30)

默认Jenkins会加拉取的代码数据保存到/var/lib/Jenkins/workspace/目录(该过程即克隆)

bash 复制代码
[root@jenkins ~]# ls /var/lib/jenkins/workspace/
myweb
[root@jenkins ~]# ls /var/lib/jenkins/workspace/myweb/
'#U8bf4#U660e.txt'   blog.html      images       myweb-origin   single.html
 404.html            contact.html   index.html   myweb-v1       work.html
 about.html          css            js           myweb-v2

4)修改项目配置

假设代码有多个版本或分支,每次都将代码拉取到相同位置会产生数据覆盖;可以修改项目配置,实现将不同的版本和分支数据保存到不同子目录下;

重新修改项目配置, 为Jenkins项目添加附加动作行为,将代码拉取输出到子目录;点击【配置】,在项目菜单【Additional Behaviours】,【新增】,【检出到子目录】,仓库的本地子目录:myweb-web。注意myweb-web必须要用变量,否则使用常量,下次拉取数据依旧会覆盖

设置邮件通知,在构建失败时可以给特定人员发送邮件,【构建后操作】,【E-mai Notification】:root@localhost

再次构建项目,并查看数据

5)Jenkins服务器查看数据(在192.168.4.30主机操作)

默认Jenkins会加拉取的代码数据保存到/var/lib/Jenkins/workspace/目录,myweb为任务名,myweb-v1为子目录名(V1是根据参数变量$web决定,例如:选择标签V1构建)

bash 复制代码
[root@jenkins ~]# ls /var/lib/jenkins/workspace/myweb/myweb-v1
'#U8bf4#U660e.txt'   about.html   contact.html   images       js            work.html
 404.html            blog.html    css            index.html   single.html

注意:GitLAB访问级别设为公开(公有),否则定义Git仓库的URL路径报错;


案例2:构建分发服务器

案例要求:安装、配置vsftpd、修改项目配置、重新构建项目

步骤1:安装、配置FTP共享服务器(仅在192.168.4.30主机操作)

1)设置防火墙、SELinux

bash 复制代码
[root@jenkins ~]# firewall-cmd --set-default-zone=trusted
[root@jenkins ~]# setenforce 0
[root@jenkins ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

2) 安装配置vsftpd、启动服务

bash 复制代码
[root@jenkins ~]# dnf -y install vsftpd    //安装FTP软件
[root@jenkins ~]# vim /etc/vsftpd/vsftpd.conf      //修改vsftpd配置文件
anonymous_enable=YES      //修改12行,允许匿名访问ftp
[root@jenkins ~]# mkdir -p /var/ftp/deploy/packages    //创建目录,jenkins将拉取的代码数据拷贝到该目录并共享给FTP应用服务器
[root@jenkins ~]# chown -R :jenkins /var/ftp/deploy/   //修改目录所属组为jenkins,让Jenkins执行脚本时有执行权限
[root@jenkins ~]# chmod -R 775 /var/ftp/deploy/   //修改权限让Jenkins组对该目录有读写权限
[root@jenkins ~]# ls -ld /var/lib/deploy/
drwxrwxr-x. 3 root jenkins 22 Apr 24 09:48 /var/lib/deploy/
[root@jenkins ~]# systemctl enable vsftpd --now   //设置开机自启,并立刻启动

测试:使用浏览器访问:ftp://192.168.4.30

步骤2:修改GitLab项目配置

1)修改项目配置,添加构建步骤:执行Shell

2)编写构建脚本,脚本内容:(由Jenkins运行此脚本,前提需要对FTP目录有权限)

bash 复制代码
pkg_dir=/var/ftp/deploy/packages
cp -r myweb-$web $pkg_dir
rm -rf $pkg_dir/myweb-$web/.git
cd $pkg_dir/
tar czf myweb-$web.tar.gz myweb-$web
rm -rf myweb-$web
md5sum myweb-$web.tar.gz | awk '{print $1}' > myweb-$web.tar.gz.md5
cd ..
echo -n $web > ver.txt

注释说明:

第一行,定义变量pkg_dir,变量值为ftp共享目录/var/ftp/deploy/packages。

第二行,将jenkins拉取到/var/lib/Jenkins/workspace/myweb-web目录的数据拷贝到ftp共享目录(Jenkins默认拉取到workspace下,所以myweb-web相对路径)

第三行,上一步拷贝过来的数据目录下包含一个隐藏.git目录,由Jenkins做构建时拉取的,删除该git仓库目录。

第四行,cd到ftp共享目录下。

第五行,将ftp共享目录下的代码数据打包。

第六行,将ftp共享目录下的代码数据目录删除(上一步已经打包数据,所以目录可删除)。

第七行,校验打包文件的HASH值(哈希值),并将结果写入到一个文件中。

第八行,返回上一级目录。

第九行,将当前Git版本信息写入ver.txt文件。

3)重新构建项目,查看数据

重新构建项目

使用浏览器访问FTP服务,查看数据。浏览器访问 ftp://192.168.4.30/deploy/packages/


案例3:自动化上线

整体思路:安装配置httpd、编写上线脚本、完成整个工作流程

步骤1:部署Web服务器

1)设置防火墙和SELinux(Web1和Web2)

bash 复制代码
[root@web1 ~]# firewall-cmd --set-default-zone=trusted
[root@web1 ~]# setenforce 0
[root@web1 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

[root@web2 ~]# firewall-cmd --set-default-zone=trusted
[root@web2 ~]# setenforce 0
[root@web2 ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config

2)安装、配置httpd、安装Wget、tar(Web1和Web2)

bash 复制代码
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# yum -y install wget tar
[root@web1 ~]# systemctl enable httpd --now   //设置开启自启,并立刻启动

[root@web2 ~]# yum -y install httpd
[root@web2 ~]# yum -y install wget tar
[root@web2 ~]# systemctl enable httpd --now   //设置开启自启,并立刻启动

步骤2:编写自动化上线脚本

1)web1和web2自动从jenkins共享服务器下载代码实现持续部署

以web1为例编写脚本,可以结合计划任务实现周期性自动上线持续部署

bash 复制代码
[root@web1 ~]# vim web.sh
#!/bin/bash
ftp_url=ftp://192.168.4.30/deploy   ## 定义变量,指定FTP共享路径
web_dir=/var/www/html   ## 定义变量,指定网页根路径

## 定义函数,函数名为down_file,该函数的作用是从FTP服务器下载代码数据到网站根目录
down_file(){
## 获取FTP服务器上面最新构建的代码版本号
## curl是基于命令行的浏览器,-s选项为静默访问,不显示下载过程(可以自己对比不是用-s的差异)
  version=$(curl -s $ftp_url/ver.txt)

## 将服务器上面的版本文件下载到web服务器的/var/www/html/目录下
## wget为下载工具(如果没有则需要安装),-q选项为静默模式下载,不显示下载过程,-O选项可以指定将文件下载到哪里,这里是下载到/var/www/html/ver.txt
  wget -q $ftp_url/ver.txt -O $web_dir/ver.txt

## 下载代码数据的打包文件,根据前面获取的版本号,下载对应的版本数据打包文件
  wget -q $ftp_url/packages/myweb-$version.tar.gz -O $web_dir/myweb-$version.tar.gz

## 对下载下来的数据打包文件计算HASH值(哈希值),awk过滤仅显示第一列数据结果
  hash=$(md5sum $web_dir/myweb-$version.tar.gz| awk '{print $1}')

## 使用curl访问ftp服务器上面的HASH值
  ftp_hash=$(curl -s $ftp_url/packages/myweb-$version.tar.gz.md5)

## 对比本地和FTP服务的HASH值是否一致,如果不一致代表数据损坏了
## 如果一致就可以解压该数据包,将数据解压到网站根目录下/var/www/html/
  if [ "$hash" == "$ftp_hash" ];then
     tar -xf $web_dir/myweb-$version.tar.gz -C $web_dir
  fi
}

## 判断如果本地没有/var/www/html/ver.txt文件,则直接调用前面的函数下载代码数据
if [ ! -f $web_dir/ver.txt ];then
  down_file
fi

## 如果本地有/var/www/html/ver.txt文件,则判断本地版本文件和FTP版本文件是否一致,一致就不再下载FTP的数据,如果不一致则调用前面的函数下载新的代码数据包
if [ -f $web_dir/ver.txt ];then
  ftp_ver=$(curl -s $ftp_url/ver.txt)
  local_ver=$(cat $web_dir/ver.txt)
  if [ "$ftp_ver" != "$local_ver" ];then
      down_file
  fi
fi
bash 复制代码
[root@web1 ~]# chmod +x web.sh       //添加可执行权限
[root@web1 ~]# ./web.sh            //执行脚本
[root@web1 ~]# ls /var/www/html/
myweb-v1  myweb-v1.tar.gz  ver.txt     //按照脚本解压
[root@web1 html]# cd myweb-v1/
[root@web1 myweb-v1]# ls
'#U8bf4#U660e.txt'   about.html   contact.html   images       js            work.html
 404.html            blog.html    css            index.html   single.html

2)查看Jenkins的FTP共享目录(Jenkins主机,192.168.4.30)

bash 复制代码
[root@jenkins ~]# cat /var/ftp/deploy/ver.txt
v1
[root@jenkins ~]# ls /var/ftp/deploy/packages/
myweb-v1.tar.gz  myweb-v1.tar.gz.md5

测试:通过浏览器访问:http://192.168.4.100/myweb-v1/

步骤3:完成整理工作流程

工作流程:开发人员编写代码,将代码上传到GitLab服务器,Jenkins从GitLab服务器上面拉取最新代码数据到本地,根据Jenkins项目配置,将代码拉取到本地后,可以进行编译、测试、打包等工作,最后将数据包写入到共享服务器,应用服务器最后从共享服务器拉取数据实现上线功能;

1)开发人员修改代码、上传代码(Develop主机,192.168.4.10)

bash 复制代码
[root@develop ~]# cd myproject        //进入仓库目录
[root@develop ~]# vim  index.html       //修改首页文件第4行内容
修改前:
<title>Home</title>
修改后:
<title>Tarena</title>
[root@develop ~]# git add .            //添加修改记录到缓存区
[root@develop ~]# git commit -m "modify index"    //提交修改  
[root@develop ~]# git tag v2                 //添加代表版本标签V2
[root@develop ~]# git push origin master    //推送数据到服务器
[root@develop ~]# git push origin v2         //推送标签到服务器

2)Jenkins重新构建项目-V2(Jenkins主机,192.168.4.30)

3)在web1服务器执行上线脚本完成持续部署(Web1主机,192.168.4.100)

bash 复制代码
[root@web1 ~]# ./web.sh
[root@web1 ~]# ls /var/www/html/
myweb-v1  myweb-v1.tar.gz  myweb-v2  myweb-v2.tar.gz  ver.txt

验证:通过浏览器访问:http://192.168.4.100/myweb-v2/

验证:查看Jenkins的FTP共享目录(Jenkins主机,192.168.4.30)

bash 复制代码
[root@jenkins ~]# ls /var/ftp/deploy/packages/
myweb-v1.tar.gz  myweb-v1.tar.gz.md5  myweb-v2.tar.gz  myweb-v2.tar.gz.md5
[root@jenkins ~]# cat /var/ftp/deploy/ver.txt
v2

思维导图:

小结:

本篇章节为**【第二阶段】AUTOMATION-DAY3** 的学习笔记,这篇笔记可以初步了解到 Jenkins项目管理(创建Jenkins项目)、构建分发服务器(部署FTP共享服务器)、自动化上线(部署web服务器)的案例部署。


Tip:毕竟两个人的智慧大于一个人的智慧,如果你不理解本章节的内容或需要相关笔记、视频,可私信小安,请不要害羞和回避,可以向他人请教,花点时间直到你真正的理解

相关推荐
向阳121816 分钟前
Dubbo负载均衡
java·运维·负载均衡·dubbo
荒Huang1 小时前
Linux挖矿病毒(kswapd0进程使cpu爆满)
linux·运维·服务器
海阔天空_20131 小时前
Python pyautogui库:自动化操作的强大工具
运维·开发语言·python·青少年编程·自动化
桥田智能1 小时前
气爪在自动化装配线中是如何应用的?
运维·自动化
Elastic 中国社区官方博客2 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
九河云2 小时前
如何选择适合的AWS EC2实例类型
服务器·云计算·aws
€☞扫地僧☜€3 小时前
docker 拉取MySQL8.0镜像以及安装
运维·数据库·docker·容器
hjjdebug3 小时前
linux 下 signal() 函数的用法,信号类型在哪里定义的?
linux·signal
其乐无涯3 小时前
服务器技术(一)--Linux基础入门
linux·运维·服务器
Diamond技术流3 小时前
从0开始学习Linux——网络配置
linux·运维·网络·学习·安全·centos