Linux机器通过Docker-Compose安装Jenkins发送Allure报告

SuperStar772024-06-24 20:38

目录

一、安装Docker

[二、安装Docker Compose](#二、安装Docker Compose)

三、准备测试用例

四、配置docker-compose.yml

五、启动Jenkins

六、配置Jenkins和Allure插件

七、创建含pytest的Jenkins任务

八、项目结果通知

1.通过企业微信通知

2.通过邮件通知

九、配置域名DNS解析

最近小编接到一个任务用来监测和巡检网络入口是否正常，下面是我实现的思路图：

下面是我要实现的具体步骤：

一、安装Docker

在CentOS上，首先更新包管理工具并安装所需的包。

bash 复制代码 
sudo yum update -y
sudo yum install -y yum-utils device-mapper-persistent-data lvm2

接下来，添加Docker的官方仓库，然后安装Docker。

bash 复制代码 
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce docker-ce-cli containerd.io

在执行这步骤的时候可能会出现下载Docker不成功，我后面采用aliyun下载的并设置了自己的代理。

启动Docker服务，并设置为开机自启。

bash 复制代码 
sudo systemctl start docker
sudo systemctl enable docker

二、安装Docker Compose

需要下载Docker Compose的当前稳定版本。检查Docker Compose GitHub仓库上的最新版本。

bash 复制代码 
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

这里最开始下载存在问题，我是登录仓库后下载对应的文件后，通过scp命令上传到/usr/local/bin目录下，并重命名为docker-compose

bash 复制代码 
chmod +x docker-compose-linux-x86_64

mv docker-compose-linux-x86_64 /usr/local/bin/docker-compose

验证安装是否成功。

bash 复制代码 
docker-compose --version

三、准备测试用例

准备用pytest编写的测试用例。例如，创建一个简单的测试文件test_example.py

python 复制代码 
# test_example.py

def test_example():
    assert 1 == 1

def test_example_fail():
    assert 1 == 2

四、配置docker-compose.yml

创建docker-compose.yml文件来定义Jenkins服务。此配置将Jenkins作为服务运行，并准备了用于持久化数据和与宿主机的Docker守护进程通信的卷。因为我需要用到python脚本，采用pytest框架，这里我构建了python镜像。

bash 复制代码 
version: '3.9'
services:
  jenkins:
    image: jenkins/jenkins:lts
    container_name: jenkins
    network_mode: "host"
    user: root
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /root/compose/jenkins/jenkins_data:/var/jenkins_home
      - /root/compose/jenkins/pythonProject:/var/jenkins_home/pythonProject
      - /root/compose/jenkins/apache-maven-3.9.8:/usr/local/apache-maven/apache-maven-3.9.8
      - /root/compose/jenkins/jdk-11.0.23:/usr/local/jdk-11.0.23
      - /root/compose/jenkins/conf/profile:/root/.bashrc
    environment:
      - TZ=Asia/Shanghai


  python:
    image: python:3.10
    container_name: python
    volumes:
      - /root/compose/jenkins/pythonProject:/usr/src
    working_dir: /usr/src
    command: bash -c "pip install -r requirements.txt && tail -f /dev/null"

五、启动Jenkins

运行以下命令在后台启动Jenkins服务：

bash 复制代码 
docker-compose up -d

我配置了portainer可视化界面，可看到启动后的镜像信息：

六、配置Jenkins和Allure插件

1.访问http:<机器名称>:8080进行Jenkins的初始化配置。

2.安装Allure Jenkins插件：进入管理--》插件管理，在"可选插件"标签页搜索"Allure Jenkins Plugin"进行安装。

3.重启Jenkins以应用安装的插件。

七、创建含pytest的Jenkins任务

1.在Jenkins中创建一个新的"自由风格的软件项目"。

2.在"源代码管理"部分，配置你的项目库（如果你的测试用例放在Git等版本控制系统中）。

3.在"构建"部分，添加"执行shell"步骤，填写命令来安装pytest和allure-pytest，并执行测试用例。

bash 复制代码 
python3 -m ensurepip --upgrade  # 确保pip3安装/更新
pip3 install pytest
pip3 install allure-pytest
python3 -m pytest --alluredir=allure-results test_example.py

后续网络入口特别多的情况下，执行一次会耗时2h，时间成本太高，修改shell语句：

bash 复制代码 
cd /var/jenkins_home/pythonProject
#可以先安装pytest-xdist插件
pip3 install pytest-xdist
#通过requirements.txt文件包含全部的依赖插件
pip3 freeze > requirements.txt

#上面两个步骤可以提前在jenkins容器内执行，这里可不执行

pytest -n 8 test_redirects.py --alluredir "allure-results" --clean-alluredir

4.运行Jenkins任务并查看Allure报告

但是最开始这里执行会报错，pip和python不存在，采用新的方式在docker容器内下载python3

首先以root用户权限进入到jenkins容器内：

bash 复制代码 
docker exec -itu root jenkins /bin/bash

执行命令：

bash 复制代码 
apt-get update
#直接容器中安装 wget 
apt install -y wget

#先安装依赖
apt  -y install gcc automake autoconf libtool make
apt -y install make*
apt  -y install zlib*
apt -y install openssl libssl-dev
apt  install -y build-essential
apt  install sudo
sudo apt-get update
sudo apt-get install build-essential python-dev python-setuptools python-pip python-smbus
sudo apt-get install build-essential libncursesw5-dev libgdbm-dev libc6-dev
sudo apt-get install zlib1g-dev libsqlite3-dev tk-dev
sudo apt-get install libssl-dev openssl
sudo apt-get install libffi-dev
sudo apt-get install libxpm-dev libxext-dev 
sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-dev libsqlite3-dev 

#下载python
wget https://www.python.org/ftp/python/3.12.1/Python-3.12.1.tgz

#解压下载的python包
tar -zvxf Python-3.12.1.tgz

#进入目录
cd /var/jenkins_home

#修改目录名称
mv Python-3.12.1 python3

#进入到python3目录
cd python3

#执行命令
./configure --prefix=/var/jenkins_home/python3

#make编译安装
./configure --prefix=/var/jenkins_home/python3 --with-ssl

#这时候可能会提示执行命令：
./configure --enable-optimizations
make
make install

#添加python3软链接
which python3

ln -s /var/jenkins_home/python3/bin/python3.12 /usr/local/bin/python3

#添加pip3软链接
ln -s /var/jenkins_home/python3/bin/pip3 /usr/local/bin/pip3

#检查是否安装成功
python3 --version
pip3 --version

运行刚刚配置的Jenkins任务。构建完成后，Jenkins将会显示一个"Allure报告"的链接，点击它即可查看详细的测试报告。

通过上述步骤就可以在CentOS系统上，通过docker-compose安装Jenkins，并通过Jenkins运行pytest编写的Python测试用例，并生成Allure测试报告了。

八、项目结果通知

1.通过企业微信通知

可在"执行shell"中加入语句：

bash 复制代码 
curl https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=yourkey \
   -H 'Content-Type: application/json' \
   -d '
   {
    "msgtype": "markdown",
    "markdown": {
        "content": "# 基建消防队 <font color=\"warning\"></font>\n
        > ### 级别状态: <font color=\"green\">S1 Recovered</font>\n
        > ### 规则标题: <font color=\"comment\">监控对象失联</font>\n
        > ### 规则备注: <font color=\"comment\">检查categraf到n9e链路是否正常</font>\n
        > ### 负责人: <font color=\"comment\">@xxx</font>\n
        > [查看详细报告](填写报告链接地址)"
    },
    "mentioned_list":["@all"]
   }'

在后面监测过程中想要报告展示的信息更全面，包含总测试案例、通过案例和通过率等字段的展示，可以更直观的看出报告详情。为了实现此功能，首先编写了python测试脚本result.py：

python 复制代码 
import json

#需注意这里的地址一定是容器内的地址！
with open('/path/to/report/directory/widgets/summary.json', 'r') as f:
    summary = json.load(f)

total_cases = summary['statistic']['total']
passed_cases = summary['statistic']['passed']
pass_rate = passed_cases / total_cases * 100

print(f"总测试案例：{total_cases}")
print(f"通过案例：{passed_cases}")
print(f"通过率：{pass_rate:.2f}%")

其次在构建项目中修改原有的"执行shell"脚本，这是我第一次写的脚本

bash 复制代码 
# 运行Python脚本，捕获输出
output=$(python /var/jenkins_home/pythonProject/result.py)

# 使用curl发送企业微信消息
curl https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=yourkey \
   -H 'Content-Type: application/json' \
   -d '
   {
    "msgtype": "markdown",
    "markdown": {
        "content": "# 基建消防队 <font color=\"warning\"></font>\n
        > ### 级别状态: <font color=\"green\">S1 Recovered</font>\n
        > ### 规则标题: <font color=\"comment\">网络入口监测</font>\n
        > ### 规则备注: <font color=\"comment\">检查网络入口是否正常通信</font>\n
        > ### 负责人: <font color=\"comment\">@xxx/font>\n
        > ### 报告详情: <font color=\"comment\">'$output'</font>
        > [查看详细报告](填写你的报告链接地址)"
    },
    "mentioned_list":["@all"]
   }'

上述脚本执行项目后在群里发送的样式为：

实在是太丑了，有没有！！

后面为了优化此报告，经历了不断的修改，最后给出正确的代码！

修改result.py脚本内容为：

python 复制代码 
import json

report_path = '/var/jenkins_home/pythonProject/allure-report/widgets/summary.json'
with open(report_path, 'r') as f:
    summary = json.load(f)

total_cases = summary['statistic']['total']
passed_cases = summary['statistic']['passed']
pass_rate = passed_cases / total_cases * 100


# 构建markdown格式的消息
markdown_message = f"""
> ### 总测试案例：<font color=\\\"orange\\\">{total_cases}</font>
> ### 通过案例：<font color=\\\"green\\\">{passed_cases}</font>
> ### 通过率：<font color=\\\"green\\\">{pass_rate:.2f}%</font>
"""

print(markdown_message.strip())

修改shell脚本内容为：

bash 复制代码 
# 运行Python脚本，捕获输出
output=$(python /var/jenkins_home/pythonProject/result.py)

# 使用curl发送企业微信消息，注意在此处使用双引号以允许变量展开
curl https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=yourkey \
   -H 'Content-Type: application/json' \
   -d "
   {
    \"msgtype\": \"markdown\",
    \"markdown\": {
        \"content\": \"# 基建消防队 <font color=\\\"warning\\\"></font>
        > ### 级别状态: <font color=\\\"red\\\">S1 Recovered</font>
        > ### 规则标题: <font color=\\\"comment\\\">网络入口监测</font>
        > ### 规则备注: <font color=\\\"comment\\\">检查网络入口是否正常通信</font>
        > ### 负责人: <font color=\\\"comment\\\">@xxx</font>
        > ${output}
        > [查看详细报告](填写你的报告链接地址)\"
    },
    \"mentioned_list\":[\"@all\"]
   }"

这样报告明显好看多了呢~

后面接口越来越多的情况下，有些接口第一次调用是失败的，但是发现当有测试case执行失败时，竟然影响到了整个项目的构建结果，这个肯定是不合理的。需要修改shell脚本解决此问题：

bash 复制代码 
cd /var/jenkins_home/pythonProject

pytest -v -n 8 test_networkMonitor.py --alluredir "allure-results" --clean-alluredir || true

加入"|| true"判断会保证，不管pytest结果如何，脚本的执行都会继续进行，从而避免因测试失败而影响到最后的构建结果。

2.通过邮件通知

（1）系统管理-->全局凭据配置-->设置发送邮件的用户名和密码作为全局凭据

（2）系统管理-->系统设置-->Extended E-mail Notification-->设置相关参数

（3）系统管理-->系统设置-->邮件通知-->设置相应参数

（4）你的项目-->构建后操作-->Editable Email Notification-->设置相应参数

这样就可以实现邮件发送啦~

九、配置域名DNS解析

最开始的思路是通过部署nginx，编写了docker-compose.yml文件

bash 复制代码 
version: '3.9'
services:
  jenkins:
    image: jenkins/jenkins:lts
    container_name: jenkins
    network_mode: "host"
    user: root
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /root/compose/jenkins/jenkins_data:/var/jenkins_home
      - /root/compose/jenkins/pythonProject:/var/jenkins_home/pythonProject
      - /root/compose/jenkins/apache-maven-3.9.8:/usr/local/apache-maven/apache-maven-3.9.8
      - /root/compose/jenkins/jdk-11.0.23:/usr/local/jdk-11.0.23
      - /root/compose/jenkins/conf/profile:/root/.bashrc
    environment:
      - TZ=Asia/Shanghai
   

  nginx:
    image: nginx
    container_name: nginx
    restart: always
    user: root
    ports:
      - "80:80"
    volumes:
      - /root/compose/jenkins/nginx:/etc/nginx/conf.d
    depends_on:
      - jenkins

在/root/compose/jenkins/nginx下新增nginx.conf文件，文件内容：

bash 复制代码 
server {
    listen 80;
    server_name 你想要解析的域名;

    location / {
        proxy_pass http://你的机器IP:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

nginx启动之后，输入全新的域名就可以登录了

后续方案升级，端口转发交给docker，域名解析交给运维，不在需要nginx，最终的docker-compose.yml修改为：

bash 复制代码 
version: '3.9'
services:
  jenkins:
    image: jenkins-terra:lts
    container_name: jenkins
    user: root
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /root/compose/jenkins/jenkins_data:/var/jenkins_home
      - /root/compose/jenkins/pythonProject:/var/jenkins_home/pythonProject
      - /root/compose/jenkins/apache-maven-3.9.8:/usr/local/apache-maven/apache-maven-3.9.8
      - /root/compose/jenkins/jdk-11.0.23:/usr/local/jdk-11.0.23
      - /root/compose/jenkins/conf/profile:/root/.bashrc
    environment:
      - TZ=Asia/Shanghai
    ports:
      - "80:8080"

你学废了吗？

相关推荐
颇有几分姿色5 分钟前
深入理解 Linux 内存管理：free 命令详解
linux·运维·服务器
yannan2019031310 分钟前
【算法】（Python）动态规划
python·算法·动态规划
蒙娜丽宁20 分钟前
《Python OpenCV从菜鸟到高手》——零基础进阶，开启图像处理与计算机视觉的大门！
python·opencv·计算机视觉
光芒再现dev22 分钟前
已解决，部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
AndyFrank35 分钟前
mac crontab 不能使用问题简记
linux·运维·macos
好喜欢吃红柚子36 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析（SE,CBAM,SGE,CA,ECA,TA）
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python40 分钟前
机器学习是什么？AIGC又是什么？机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
筱源源1 小时前
Kafka-linux环境部署
linux·kafka
千天夜1 小时前
使用UDP协议传输视频流！（分片、缓存）
python·网络协议·udp·视频流
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解