一、背景及目标
背景
1、技术研发流程为测试 提供冒烟用例-开发根据用例自测-提测-开始测试,这一套流程,但是中间开发是否真实执行冒烟,测试并不知晓,而且测试提供冒烟用例是否符合标准也没法进行量化
2、公司产品属于saas产品,但是针对一些客户需要做定制化处理,这种场景,开发往往给出的是测试不用介入,修改代码少,但是真实修改了多少,会不会引起其他问题,测试是完全不知道的
3、自动化体系逐渐成熟,但是在代码层面,自动化完成效果无法进行量化,可能a测试人员编写了100条自动化用例,但是每个多个用例调用同一接口,场景单一,不好具体量化自动化完成
目标
基于上述背景,决定引用覆盖率工具,让测试更加了解代码,对工作流程有着更好的量化
每次需求提测,能获取到与基线分支对比,新增了多少代码,在开发冒烟后,获取到开发是否真实执行了冒烟,并统计冒烟覆盖率,同样在测试时,获取到测试覆盖率,并根据覆盖率数据,补充遗漏测试点
通过全量测试覆盖率,统计自动化真实情况,覆盖多少代码
二、怎么做
当前测试团队,使用的是基于开源测试平台metersphere的二开,做了很多定制化的处理,团队各种测试工具,肯定都是集成在一起使用更加方便快捷。
1、增量测试覆盖率版本问题如何解决
全量测试覆盖率比较好解决,但是版本测试增量覆盖率就比较麻烦,首先一个版本的标准是什么,怎么去创建这个版本,怎么维护,我司测试用例及版本维护用的是禅道,每次测试版本,需要在禅道上创建一个测试单关联到对应用例及bug,如果在测试平台再去创建一个版本,创建虽然不麻烦,但是还是要多一步操作,而且不能保证每个人去执行能不能保持统一,做测试工具的应该都会碰到一个问题就是,做出来容易推广难,做出来的东西肯定是最大限度减低人工操作成本。
我这边给出的方案是,metersphere去拉取禅道测试单,这样就可以覆盖率版本问题,而且既然已经关联测试单了,对应的用例,bug等数据也可以进行统计,一举二得
最后的实现的就是metersphere定时同步测试单,拉取测试单的信息,并统计bug等数据,还可以顺道做下汇总图
2、怎么打通gitlab,测试平台,supper-jaoco,k8s?
相信很多人都使用过supper-jacoco,包的单个部署应用supper-jacoco是很简单的,把supper-jacoco启动起来,项目运行时带上javaagent命令就ok了,使用方法还是很简单的,但是要想把这一套使用的真实项目中,每个版本去统计,就相对没那么容易了,每一个版本都人工去操作,这样这个工具想推广真是难上加难,而且都靠人工来操作,出现错误的几率就比较高。时间久了就没人去用了。而且现在一般公司测试环境维护都是使用的k8s,jacoco运行时,需要把对应的jacoco-cli包跟具体项目放在一起,然后打包为一个镜像,放在k8s上去运行。
我这边的处理是
1、将jacoco-cli包放在oss上,gitlab流水线打包时,将jacoco-cli拉下来,在开发打包的dockerfile中,将jacoco-cli包跟项目的包打在同一个镜像中
2、第一步解决后,就比较简单了,我们使用的是rancher来管理k8s,在镜像启动时,配置对应的javaagent命令即可,再把supper-jacoco服务在k8s起来,这样,每次打包部署后,就可以直接去拉取覆盖率文件了
3、第2步的问题解决后,难点就是开始统计覆盖率和覆盖率结果的收集,supper-jacoco每次需要传入git地址,微服务目录,基准分支,当前分支,uuid等信息,我这边在metersphere上创建一张表,用来维护git项目信息,项目部署容器ip,分支,地址等(这一步可以做成一个功能在页面上,但是变动比较小就没进行开发),这样在测试平台选择版本时,就可以选择对应的项目,填写版本,就可以进行覆盖率收集了
三、流程汇总
四、落地效果
测试落地4个月,开始覆盖了收集有20多个版本,平均冒烟行覆盖超45%,平均测试覆盖超75%,详细统计每个服务测试自动化覆盖了多少,目前已形成测试门禁,冒烟增量行覆盖必须超45%,测试增量行覆盖超75%,每个版本平均可以根据测试覆盖率补充2-5条测试用例。而是使用成本低,只需要在提测前输入几项信息即可拿到想要的数据。