生产测试指标是软件开发过程中非常宝贵的工具。它们提供有关生产中测试的质量、效率和性能的定量数据和见解。
生产测试指标有哪些类型?
本质上,生产测试指标可以分为三大类,即过程、产品和产品指标。但是,为了便于理解,我们将研究一些在当前讨论范围内最相关的指标。
测试功效的具体指标
从测试覆盖率到已识别的缺陷数量,许多测试指标都有助于围绕测试功效进行叙述。例如,功能覆盖率、语句覆盖率、测试通过率、缺陷密度、测试创建时间、测试执行时间、重新打开的缺陷、缺陷年龄、环境停机时间等指标,有效帮助定义生产测试效率。
性能指标
考虑到用户流失的速度,监控性能方面就显得尤为重要。正是在这里,延迟、吞吐量、资源使用、错误率等的测量变得可行。
用户体验指标
由于最终目标是确保用户能够无缝地使用应用程序来满足其需求,因此监控用户体验指标(例如加载时间、会话持续时间、跳出率、交互深度等)变得至关重要。开发人员甚至可以密切关注客户努力得分 (CET) 和客户满意度得分 (CSAT),以纳入相关反馈。
除此之外,开发人员还可以通过了解安全事件的数量、修补漏洞所需的时间等来监控安全方面。
手动与自动测试指标
手动和自动测试指标在生产环境中都扮演着特定的角色:
手动测试指标
通常,在生产中执行手动测试时,重点是现实场景和可用性。从这个角度来看,可用性指标、用户反馈、主观性能指标(如感知响应能力)、可访问性指标等都变得可行。
手动测试指标还涵盖绝对指标,例如总测试用例、失败的测试用例或延迟缺陷。然后还有衍生指标,例如固定缺陷百分比、修复缺陷的平均时间等。
自动化测试指标
在自动化测试中,重点更多地放在对应用程序功能的彻底监控和验证上。因此,与测试执行(执行时间、失败率、跳过的测试)、覆盖率、可靠性(不稳定测试、稳定性得分)等相关的指标变得越来越重要。
然而,值得注意的是,如果自动化复制手动测试工作以减少测试成本和时间,绝对指标和衍生指标将保持不变。
结论
事实上,生产中的测试有其自身的好处。然而,确保生产测试的成功需要遵循上述最佳实践并密切关注众多相关指标。