基于metersphere和supper-jacoco 测试覆盖率落地实践

一、背景及目标

背景

1、技术研发流程为测试 提供冒烟用例-开发根据用例自测-提测-开始测试,这一套流程,但是中间开发是否真实执行冒烟,测试并不知晓,而且测试提供冒烟用例是否符合标准也没法进行量化

2、公司产品属于saas产品,但是针对一些客户需要做定制化处理,这种场景,开发往往给出的是测试不用介入,修改代码少,但是真实修改了多少,会不会引起其他问题,测试是完全不知道的

3、自动化体系逐渐成熟,但是在代码层面,自动化完成效果无法进行量化,可能a测试人员编写了100条自动化用例,但是每个多个用例调用同一接口,场景单一,不好具体量化自动化完成

目标

基于上述背景,决定引用覆盖率工具,让测试更加了解代码,对工作流程有着更好的量化

每次需求提测,能获取到与基线分支对比,新增了多少代码,在开发冒烟后,获取到开发是否真实执行了冒烟,并统计冒烟覆盖率,同样在测试时,获取到测试覆盖率,并根据覆盖率数据,补充遗漏测试点

通过全量测试覆盖率,统计自动化真实情况,覆盖多少代码

二、怎么做

当前测试团队,使用的是基于开源测试平台metersphere的二开,做了很多定制化的处理,团队各种测试工具,肯定都是集成在一起使用更加方便快捷。

1、增量测试覆盖率版本问题如何解决

全量测试覆盖率比较好解决,但是版本测试增量覆盖率就比较麻烦,首先一个版本的标准是什么,怎么去创建这个版本,怎么维护,我司测试用例及版本维护用的是禅道,每次测试版本,需要在禅道上创建一个测试单关联到对应用例及bug,如果在测试平台再去创建一个版本,创建虽然不麻烦,但是还是要多一步操作,而且不能保证每个人去执行能不能保持统一,做测试工具的应该都会碰到一个问题就是,做出来容易推广难,做出来的东西肯定是最大限度减低人工操作成本。

我这边给出的方案是,metersphere去拉取禅道测试单,这样就可以覆盖率版本问题,而且既然已经关联测试单了,对应的用例,bug等数据也可以进行统计,一举二得

最后的实现的就是metersphere定时同步测试单,拉取测试单的信息,并统计bug等数据,还可以顺道做下汇总图


2、怎么打通gitlab,测试平台,supper-jaoco,k8s?

相信很多人都使用过supper-jacoco,包的单个部署应用supper-jacoco是很简单的,把supper-jacoco启动起来,项目运行时带上javaagent命令就ok了,使用方法还是很简单的,但是要想把这一套使用的真实项目中,每个版本去统计,就相对没那么容易了,每一个版本都人工去操作,这样这个工具想推广真是难上加难,而且都靠人工来操作,出现错误的几率就比较高。时间久了就没人去用了。而且现在一般公司测试环境维护都是使用的k8s,jacoco运行时,需要把对应的jacoco-cli包跟具体项目放在一起,然后打包为一个镜像,放在k8s上去运行。

我这边的处理是

1、将jacoco-cli包放在oss上,gitlab流水线打包时,将jacoco-cli拉下来,在开发打包的dockerfile中,将jacoco-cli包跟项目的包打在同一个镜像中

2、第一步解决后,就比较简单了,我们使用的是rancher来管理k8s,在镜像启动时,配置对应的javaagent命令即可,再把supper-jacoco服务在k8s起来,这样,每次打包部署后,就可以直接去拉取覆盖率文件了

3、第2步的问题解决后,难点就是开始统计覆盖率和覆盖率结果的收集,supper-jacoco每次需要传入git地址,微服务目录,基准分支,当前分支,uuid等信息,我这边在metersphere上创建一张表,用来维护git项目信息,项目部署容器ip,分支,地址等(这一步可以做成一个功能在页面上,但是变动比较小就没进行开发),这样在测试平台选择版本时,就可以选择对应的项目,填写版本,就可以进行覆盖率收集了

三、流程汇总


四、落地效果

测试落地4个月,开始覆盖了收集有20多个版本,平均冒烟行覆盖超45%,平均测试覆盖超75%,详细统计每个服务测试自动化覆盖了多少,目前已形成测试门禁,冒烟增量行覆盖必须超45%,测试增量行覆盖超75%,每个版本平均可以根据测试覆盖率补充2-5条测试用例。而是使用成本低,只需要在提测前输入几项信息即可拿到想要的数据。

相关推荐
awonw12 小时前
[java][框架]springMVC(1/2)
测试工具·postman
迃幵chen17 小时前
wireshark-网络分析工具
网络·测试工具·wireshark
孤蓬&听雨18 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息
土小帽软件测试18 小时前
jmeter基础01-2_环境准备-Mac系统安装jdk
java·测试工具·jmeter·macos·软件测试学习
qq_433716951 天前
测试分层:减少对全链路回归依赖的探索!
自动化测试·软件测试·功能测试·测试工具·回归·pytest·postman
qq_433716951 天前
Postman断言与依赖接口测试详解!
自动化测试·软件测试·功能测试·测试工具·mysql·接口测试·postman
如光照1 天前
Linux与Windows中的流量抓取工具:wireshark与tcpdump
linux·windows·测试工具·网络安全
土小帽软件测试1 天前
jmeter基础03_汉化jmeter界面
测试工具·jmeter·软件测试学习
小白~小黑1 天前
软件测试基础十二(python变量进阶)
python·功能测试·测试工具·自动化
程序员小雷1 天前
软件测试基础:单元测试与集成测试
python·功能测试·selenium·测试工具·单元测试·集成测试·压力测试