13年测试老鸟总结,真实性能测试如何做?性能测试完整流程+细节...

目录:导读


前言

性能测试什么时候开始?

一般在系统功能稳定没有大的缺陷之后开始执行。但前期准备工作可以从系统需求分析时就开始:性能目标制定、场景获取、环境申请等。

1、制定性能测试目标

在特定的并发用户数下测试特定场景的响应时间;

在一定的响应时间的要求下来测试特定场景的最大并发用户数;

测试特定场景的TPS;

1)线上系统

对线上系统的日志进行分析以获取到这个系统每个功能的访问情况、最大的并发用户量、平均/最大/最小响应时间。

然后通过每日的增长趋势来确定最大的并发用户数、响应时间参考日志分析的结果,即与平均响应时间相当。

2)全新项目

开发过程相关文档:

项目开发计划书、需求规格说明书、设计说明书等文档都可能涉及性能测试的要求。通过收集这些材料,可以找到初步的性能需求。但这些性能测试需求往往不够准确,需要性能测试人员进行专业的引导。

类似项目:

公司的其他产品或以往项目会累积出一些数据,可以作为参考。

用户使用模型:

分析用户使用模型是获取性能测试需求的有效手段,考虑哪些用户使用系统的哪些典型的业务,在什么时段有多少用户进行了什么功能的操作。

例如:

某OA系统每天早上8:00会有200个用户在10分钟内登录系统;

每天查询交易的高峰是在9:00------11:00和下午的14:00------16:00等,然后根据这个用户使用模型并结合80/20原则计算OA系统的登录以及交易查询业务的并发量。

80/20原则:

80/20原理就是系统在每个工作日有80%的业务是在20%的时间内集中完成,或者系统80%的用户会在20%的时间内集中进行应用操作。

举两个例子说明:

例1:

某网站每日的总访问人数为10万,其中浏览单品页占30%,搜索业务占20%,登录+购买业务占50%。

采用80~20原则,8小时的20%作为基准时间,计算各个业务的并发数。

python 复制代码
搜索业务:(100000*20%*80%)/(8*3600*20%)=2.78取整为3
浏览单品页:(100000*30%*80%)/(8*3600*20%)=4.17取整为5
登录+购买:(100000*50%*80%)/(8*3600*20%)=6.94取整为7

例2:

系统每年的业务集中在8个月完成,每个月平均有20个工作日,每个工作日8小时,按照80/20原则,即每天80%的业务在1.6小时完成。

去年全年处理业务约100万笔,其中15%的业务处理中每笔业务需对应用服务器提交7次请求,其中70%的业务处理中每笔业务需对应用服务器提交5次请求,剩余15%的业务处理中每笔业务需对应用服务器提交3次请求。

根据以往的统计结果,每年的业务增长量为15%,考虑到今后3年的业务发展需要,测试需按现有业务量的两倍进行请求数来计算系统应该达到的TPS。

python 复制代码
每年的总请求数=(100万*15%*7+100万*70%*5+100万*15%*3)*2=1000万
TPS=(10000000*80%)/(8*20*8*3600*20%)=8.68,取整即TPS=9

响应时间标准

python 复制代码
2秒以内,用户感受良好
2~5秒,用户觉得可以接受
5~10秒,用户会觉得很烦躁,无法接收,会频繁刷新页面
10秒以上,用户完全无法接收,直接离开

2、性能测试场景获取

1)线上系统

单场景:

根据对线上系统的日志分析结果,访问量排在前面的功能、本次改动的以及可能会影响到的功能、和钱有关的功能。为保险起见最好再和开发确认一下会影响到的功能。

混合场景:

还是根据线上系统的日志分析结果,得到系统级别的最大并发数,再根据每日的增长趋势做一个增量从而得到最终的最大并发数。然后根据日志分析结果中的各个重要功能的占比数来进行用户分配。

稳定性场景:

确定好单场景和混合场景后,还应该考虑稳定性场景。其目的是测试系统是否有内存泄漏现象发生,同时也可以测试系统的平均无故障时间。

所以,可以用混合场景做长时间的稳定性测试。

2)全新项目

单场景:

重要、核心的功能

常用功能

业务流程复杂的功能

资源占用严重的功能(比如多表查询或向多张表中插入数据)

混合场景:

根据一定的比例把所有重要的功能都加入混合场景

稳定性场景:

可以考虑用混合场景做长时间的稳定性测试。

3、性能测试数据确定

性能测试中很重要的一点就是场景数据的设计。比如一个数据查询场景,如果该场景对应的数据库表只有10条数据,那么查询结果肯定相对较快。

但是,如果这个查询场景对应的数据库表有1000万条数据,那么查询结果肯定会比只有10条数据的查询结果要慢一些。如果性能测试不考虑数据量,那么性能测试的结果是不准确的,上线后由于未考虑数据量的因素而引发的性能问题几率会很大。

对于线上系统来说,各表的数据量可以根据线上系统的各表数据量以及增量来确定。而新系统需要根据开发文档以及和相关项目干系人(如:客户代表、项目经理、需求分析员、系统架构师以及产品经理一起调研和讨论来决定)

4、性能测试用例设计

1)单场景

场景描述:模拟用户进行登录操作

并发量:分别模拟并发用户数为1、10、50三种情况进行测试

压测时间:每次15分钟

数据量:MySQL的user表中有70万账户

集合点:不使用集合点

重点关注指标:响应时间、事物成功率、应用服务器资源使用情况(CPU、内存、IO)、MySQL数据库资源使用情况(CPU、内存、IO)、应用日志是否有死锁等错误、数据库日志是否有死锁等错误、JVM内存使用情况和GC情况

预期指标:响应时间在2秒内、事物成功率为100%、应用服务器和数据库服务器CPU使用率≤60%、没有内存泄漏、数据库死锁、线程死锁等现象

2)混合场景

混合场景不是把所有的测试场景糅合在一起形成一个大的场景,而应该先考虑不同的混合场景组合,如数据库查询操作的混合场景、数据库写操作的混合场景、数据库查询与写操作都包含的大混合场景。

如下:

场景描述:模拟系统不用用户进行数据库读写操作的混合场景,场景包括用户登录、广告词默认查询、新建广告组、广告词默认创建、广告审核、广告生效、广告词按价格排序。

并发量:总共模拟300个用户同时操作,其中登录操作占比20%、广告词默认查询占比25%、新建广告组占比15%、广告词默认创建8%、广告审核10%、广告生效15%、广告词按价格排序7%

压测时间:每次15分钟

数据量:MySQL的cpc表有150万条数据、plan表有10万条数据、group表有50万条数据、audit表有100万条数据,MongoDB的report表有1TB数据、user表有90万条数据。

集合点:不使用集合点

重点关注指标:响应时间、事物成功率、应用服务器资源使用情况(CPU、内存、IO)、MySQL数据库资源使用情况(CPU、内存、IO)、应用日志是否有死锁等错误、数据库日志是否有死锁等错误、JVM内存使用情况和GC情况

预期指标:登录、广告词默认查询、新建广告组等操作响应时间在2秒内,广告词默认创建、广告审核、广告生效、广告词按价格排序等操作响应时间在3秒内,事物成功率为100%、应用服务器和数据库服务器CPU使用率≤60%、没有内存泄漏、数据库死锁、线程死锁等现象

3)稳定性场景

场景描述:模拟系统不用用户进行数据库读写操作的混合场景,场景包括用户登录、广告词默认查询、新建广告组、广告词默认创建、广告审核、广告生效、广告词按价格排序。

并发量:总共模拟300个用户同时操作,其中登录操作占比20%、广告词默认查询占比25%、新建广告组占比15%、广告词默认创建8%、广告审核10%、广告生效15%、广告词按价格排序7%

压测时间:持续2*24小时

数据量:MySQL的cpc表有150万条数据、plan表有10万条数据、group表有50万条数据、audit表有100万条数据,MongoDB的report表有1TB数据、user表有90万条数据。

集合点:不使用集合点

重点关注指标:JVM内存使用情况和GC情况

预期指标:无内存泄漏现象或迹象发生

5、性能测试环境准备与搭建

性能测试环境包括软件环境、硬件环境和网络环境。这三大环境不仅是指应用服务器环境,还包括数据库服务器、缓存服务器、文件服务器以及其他中间应用服务器环境。

硬件环境包括:CPU、内存、磁盘等基本因素。

软件环境包括:操作系统版本号、配置,Linux磁盘分区、JDK版本、位数、厂商,中间件版本号、位数,数据库版本号、位数,以及这些软件的安装路径也最好与线上环境一致。配置文件包括JVM配置、中间件配置、数据库配置文件等。

网络环境包括:网络协议及网络带宽。

集群环境包括:应用相关服务器的负载均衡环境、数据库的热备或主从环境、集群环境等。

申请线下仿真测试环境的时候,应遵循以下原则:

1)硬件环境尽可能地保持与生产环境一致

2)如果是集群环境,测试环境就不可能申请到那么多台服务器,那么可以考虑申请3台与线上生产环境一致的机器来作为线下的性能测试机器。

在性能测试的过程中,可以分别测试单机、双机和三机负载均衡时候的性能表现,然后根据3种情况下性能表现计算出线上生产环境(比如说100台)进行负载均衡时的性能损耗率,从而较为真实的计算出线上100台机器进行负载均衡时候的性能指标。

3)如果数据库集群环境太庞大,比如数据库是8组32台,那么线下测试不会申请32台机器进行性能测试。一般这种情况只会申请一组数据库(一主三从)作为性能测试的数据库即可。

因为大型数据库的集群基本都是采用拆库分表策略,所以会导致数据库集群庞大。申请一组数据库机器就可以开展性能测试,只需要保证性能测试所用的用户数据都落在申请的这组数据库即可。

4)如果实在无法保证硬件环境与线上一致,那么只能按照低配置环境进行测试,如果低配置环境测出的结果能满足线上要求,那么线上高配置环境肯定也能满足既定的性能要求。

如果无法满足,则不建议做建模估算,因为如果CPU颗粒数、高速缓存、物理内存大小、磁盘转速不同,性能建模得出的性能结果也不够准确。如果在低配置的机器测试达不到要求,则要在测试报告中写明测试环境,并说明不能保证因为测试环境的提升而达到要求。

6、做脚本

7、跑场景

根据测试用例来跑测试场景。

8、做监控

在性能测试的过程中,先用命令来监控,发现有问题再连上工具进行监控。

9、分析调优

每一个调优后,配置信息及测试结果都需要详细的记录下来。

10、回归测试

回归测试后,全部的目标达成后编写性能测试报告并发送给项目组成员。

11、出图写测试报告

|-------------------------------------|
| 下面是我整理的2023年最全的软件测试工程师学习知识架构体系图 |

一、Python编程入门到精通

二、接口自动化项目实战

三、Web自动化项目实战

四、App自动化项目实战

五、一线大厂简历

六、测试开发DevOps体系

七、常用自动化测试工具

八、JMeter性能测试

九、总结(尾部小惊喜)

没有什么比拥有一个不屈不挠的精神更重要了。在挫折与纷争中,坚持自己的理想,永不言败,这才是真正的胜利者所应具备的品质。加油!

只要还有呼吸,就不能停止梦想的追求。不要怕失败,不要怨天尤人,勇往直前,相信未来,你会看到那道不可思议的彩虹!

不论前方多么坎坷,不论风雨多么凛冽,只要心怀梦想,追逐自己的信仰,勇往直前,就能跨越万难,创造美好未来!奋斗不止,成就更大!

相关推荐
真上帝的左手11 小时前
8. 测试-性能测试-JMeter实战
java·压力测试
念越12 小时前
蓝桥杯模拟4期自动化测试代码完整版解析
软件测试·蓝桥杯·自动化
烛之武15 小时前
Skywalking服务链路追踪与Jemeter压力测试
压力测试·skywalking
brucelee1861 天前
使用 JMeter 进行 API 压力测试完整指南
jmeter·压力测试
Echoo华地1 天前
Gatling压测案例
java·jmeter·压力测试·并发·scale·压测·gatling
橘子编程1 天前
软件测试全流程实战指南
java·功能测试·测试工具·junit·tomcat·压力测试·可用性测试
汽车仪器仪表相关领域1 天前
广州文明机电 新能源汽车运行安全性能检验解决方案
人工智能·功能测试·安全·单元测试·汽车·压力测试·可用性测试
兰.lan3 天前
【黑马ai测试】黑马头条登录功能测试-发布功能测试-其他功能模块设计
软件测试·人工智能·笔记·python·功能测试·ai·单元测试