pytest-rerunfailures插件之测试用例失败重跑

环境前提:

只有同时满足一下先决条件才能使用pytest-rerunfailures

①python的版本不能过低;

②pytest 5.0或更高版本;

背景:

平时在做接口测试的时候,经常会遇到网络抖动或者环境问题导致测试用例运行失败,而这个并不是我们想要的结果;

我们想要重新运行失败的测试用例,这个就需要通过插件pytest-rerunfailures来实现了。

安装插件pytest-rerunfailures
highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-mipsasm">pip <span style="color:#0000ff">install </span>pytest-rerunfailures
</code></span></span>
①执行命令重新执行失败的测试用例:使用 --reruns 命令行参数选项,并指定要运行测试的最大次数:
highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-bash">pytest test_add.py --reruns NUM    <span style="color:#008000"># NUM表示重试的次数</span>
</code></span></span>

【注意】重复运行失败的测试用例时,对应的fixture或者setup函数也会重新执行(例如:scope参数为method的fixture前置函数)

举例:

代码参考如下:

highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-python"><span style="color:#008000"># file_name: test_add.py</span>


<span style="color:#0000ff">import</span> pytest


<span style="color:#0000ff">def</span> <span style="color:#a31515">test_add01</span>():
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">"----------------->>> test_add01"</span>)
    <span style="color:#0000ff">assert</span> <span style="color:#880000">1</span>


<span style="color:#0000ff">def</span> <span style="color:#a31515">test_add02</span>():
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">"----------------->>> test_add02"</span>)
    <span style="color:#0000ff">assert</span> <span style="color:#880000">0</span>


<span style="color:#0000ff">def</span> <span style="color:#a31515">test_add03</span>():
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">"----------------->>> test_add03"</span>)
    <span style="color:#0000ff">assert</span> <span style="color:#880000">1</span>


<span style="color:#0000ff">def</span> <span style="color:#a31515">test_add04</span>():
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">"----------------->>> test_add04"</span>)
    <span style="color:#0000ff">assert</span> <span style="color:#880000">1</span>


<span style="color:#0000ff">if</span> __name__ == <span style="color:#a31515">'__main__'</span>:
    pytest.main([<span style="color:#a31515">"-s"</span>, <span style="color:#a31515">"test_add.py"</span>])
</code></span></span>

执行命令:pytest ./pytest_study/test_add.py --reruns 2 -s(NUM=2表示失败测试用例重试2次,上述代码中只有test_add02()方法会失败)

注意 :

pytest多种运行模式支持叠加执行:

例如同时运行四个进程,且失败后重跑2次,pytest命令行运行:pytest -n 4 -reruns 2

②设置添加重新执行的延时时间并执行失败的测试用例

要在两次重试之间增加延迟时间,使用 --reruns-delay 命令行选项,指定下次测试重新开始之前等待的秒数:

highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-css">pytest <span style="color:#ff0000">--reruns</span> <span style="color:#880000">5</span> <span style="color:#ff0000">--reruns-delay</span> <span style="color:#880000">10</span>
</code></span></span>
③重新运行指定的测试用例:测试用例失败重跑的装饰器用法

添加flaky装饰器 @pytest.mark.flaky(reruns=5) ,并指定最大重新运行次数。

示例代码如下:

highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-python"><span style="color:#008000">#-*- coding: utf-8 -*-</span>
<span style="color:#0000ff">import</span> random
<span style="color:#0000ff">import</span> pytest


<span style="color:#2b91af">@pytest.mark.flaky(reruns=<span style="color:#880000">5</span>)</span>
<span style="color:#0000ff">def</span> <span style="color:#a31515">test_retry1</span>():
    n = random.randint(<span style="color:#880000">0</span>, <span style="color:#880000">9</span>)
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">f"\n 输出随机数: {n} "</span>)
    <span style="color:#0000ff">assert</span> n == <span style="color:#880000">2</span>


<span style="color:#2b91af">@pytest.mark.flaky(reruns=<span style="color:#880000">5</span>)</span>
<span style="color:#0000ff">def</span> <span style="color:#a31515">test_retry2</span>():
    <span style="color:#0000ff">assert</span> random.choice([<span style="color:#a31515">True</span>, <span style="color:#a31515">False</span>, <span style="color:#a31515">False</span>])
</code></span></span>

运行结果:【注意】测试结果以最后一次重新执行测试用例的结果为最终结果,即用例执行被判定为FAILED或者PASSED

第一个测试方法:

第二个测试方法:

④对单个测试用例设置重新运行等待延迟时间

实例代码:

highlighter-hljs 复制代码
<span style="color:#111111"><span style="background-color:#ffffff"><code class="language-python"><span style="color:#2b91af">@pytest.mark.flaky(reruns=<span style="color:#880000">5</span>,reruns_delay=<span style="color:#880000">2</span>)</span>
<span style="color:#0000ff">def</span> <span style="color:#a31515">test_retry1</span>():
    n = random.randint(<span style="color:#880000">0</span>, <span style="color:#880000">9</span>)
    <span style="color:#0000ff">print</span>(<span style="color:#a31515">f"\n 输出随机数: {n} "</span>)
    <span style="color:#0000ff">assert</span> n == <span style="color:#880000">2</span>
</code></span></span>

运行结果:

【注意】

1、如果使用装饰器的方式指定了测试用例的重新运行次数,则在命令行参数中添加--reruns对这些测试用例是不会生效的。

2、兼容性问题:

  1. 不可以和fixture装饰器一起使用: @pytest.fixture()
  2. 该插件与pytest-xdist的 --looponfail 标志不兼容
  3. 该插件与核心--pdb标志不兼容.

这可能是B站最详细的pytest自动化测试框架教程,整整100小时,全程实战!!!

相关推荐
测试人社区—小叶子1 天前
接口测试全攻略:从Swagger到MockServer
运维·c++·人工智能·测试工具·机器人·自动化·测试用例
测试19981 天前
软件测试方法之边界值分析法
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
cliffordl1 天前
自动化测试(Pytest)
pytest
Codebill2 天前
利用Apipost AI自动生成接口测试用例并批量执行
测试用例·接口测试·接口自动化·apipost ai
卓码软件测评2 天前
第三方软件评测机构:【Apifox API密钥管理指南的密钥安全存储和密钥使用凭证】
网络·测试工具·测试用例
噔噔噔噔@2 天前
详细介绍Python+Pytest+BDD+Playwright,用FSM打造高效测试框架
开发语言·python·pytest
iFlow_AI2 天前
用iFlow CLI写了一个简单的内容创作平台 ——OpenAIGC-App rocket (集图像、音频、视频、文本创作于一体的智能化创作工具 )
测试用例·音视频·心流·iflow·iflowcli
测试人社区—小叶子2 天前
使用开源模型微调,构建专属的测试用例生成机器人
运维·网络·c++·人工智能·机器人·自动化·测试用例
中冕—霍格沃兹软件开发测试3 天前
测试用例库建设与管理方案
数据库·人工智能·科技·开源·测试用例·bug
黑客思维者3 天前
Python自动化测试Pytest/Unittest深度解析与接口测试落地实践
开发语言·python·pytest·unittest