⏩很多人在使用 jmeter 做接口测试、自动化测试和性能测试时,都喜欢用 CSV 数据文件设置功能,来读取准备好的测试数据。虽然这种方法并不是最优方案,在我们的性能测试课程中,讲解了更优的方案,但是,没有上过我们的课的测试人员,还是很普遍的使用 CSV 方式。
今天,就来给大家讲一个用 CSV 准备测试数据的一个巨坑和解决办法。
jmeter 做测试,要想读取准备好的测试数据文件,如果你只想到 CSV 这一种方法,那就用'CSV Data Set Config'这个元件,千万不要去用 csvRead 函数,用这个函数,你被坑死了,请别说我没提醒你。
但是,使用'CSV Data Set Config'这个元件,每次只能从第 1 行数据开始读取,或忽略首行从第 2 行开始,没有办法从不定行开始。
每次从第 1 行开始取值,在日常低并发的性能测试中,是没有任何问题的,因为此时你只需要运行一个 jmeter 就可以, 但是,如果你想做高并发的性能测试,需要有多个 jmeter 同时运行,构成分布式来向服务器发起请求,这时候就有问题了。
因为,采用分布式,在多台机器上同时运行 jmeter,每台机器都会从第 1 行开始读取你准备的测试文件,那么,就会出现同时多个线程使用同一个测试数据向服务器发起请求,这很可能导致你们的被测试服务出现各种异常。
⏩你是不是曾经出现使用分布式进行性能测试,出现很多 4xx 系列错误,而单机执行性能测试却没有;你是不是曾经出现,分布式时错误率升高,而单机时,同并发数,错误率要低很多;你是不是曾经出现,分布式请求,服务端日志,有大量锁冲突?
这些问题,如果你脚本中使用了'CSV Data Set Config',那么这些错误,很可能就是因为这个元件每次读数据只能从第 1 行开始读取的原因造成的。
这个坑,我曾经也遇到了,而且一度让我痛苦了几天,不过,后来我找到 4 种解决办法,今天,我就来给大家讲一种技术难度最低的方法。
☑️打开 jmeter 的插件管理,在 'available plugins'中搜索'CSV',勾选一个叫 'Random CSV Data Set'的插件,点击右下角的'Apply Changes and Restart JMeter'下载安装这个插件。待下载成功自动重启之后,在 jmeter 的配置元件中,我们将找到'bzm - Random CSV Data Set Config'元件。
你可以**点击下面的'Test CSV Reading'来看下数据的顺序,你会发现,每次取的数据顺序都是不一样的。**这样,就很好解决了分布式时取数相同的问题了。方法非常简单。
⏩接下来,我们来对比看下这个元件的性能。
首先添加 'CSV Data Set Config'元件,读取一份大于 10000 行的数据文件,定义一个变量接收,然后,用一个调试取样器,应用这个变量, 设在 1000 的并发用户,持续运行 120s,保存脚本,采用 CLI 模式运行,查看运行时资源使用情况。
从监控到数据看,1000 的并发,120 秒中内,总共执行了 59830295 次请求,平均每秒 498141.6 次/s,我本机 CPU 使用率上升到约 48.3%,内存使用率约为 26.8%。
⏩现在,把元件换成 'bzm - Random CSV Data Set Config',其他都不变了。采用 CLI 模式来运行,查看监控数据。
从监控到数据看,1000 的并发,120 秒中内,总共执行了 20860718 次请求,平均每秒 172912.8 次/s,我本机 CPU 使用率上升到约 66.5%,内存使用率约为 26.7%。
☑️从两个元件的测试结果来看,官方的 CSV Data Set Config 性能要优于 bzm - Random CSV Data Set Config,实际工作中,你可以根据你的实际情况来选择。
最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!