pytest并发执行中设置用例执行顺序

场景

使用pytest-xdist实现测试用例的并发执行, 但是执行中部分用例需要设置执行顺序

需要的依赖包

pytest-order , pytest-xdist, pytest-dependency

实现方法

  1. 对执行顺序有要求的用例设置, 设置在同一个组中并且设置执行顺序,用例上设置@pytest.mark.xdist_group(name="group_name"), 并且执行时设置参数 -dist loadgroup , 就能保证group名字相同的用例在同一个worker中运行

  2. 然后对同一个group中的用例设置顺序,即@pytest.mark.order(1)

  3. 如果用例间有依赖的话,可以对被依赖和依赖的用例设置依赖关系

    python 复制代码
    @pytest.mark.dependency(name="test_name")
    @pytest.mark.dependency(depends=["test_name"])

验证

  1. 有一个文件test_1.py, 内容如下

    python 复制代码
    def test_one():
    	pass
    
    def test_two():
        pass

    执行pytest test_1.py -v -n 2

    输出结果: test_one和test_two分别属于gw0 和gw1

    shell 复制代码
    test_case/test_1.py::test_one
    test_case/test_1.py::test_two
    [gw0] [ 50%] PASSED test_case/test_1.py::test_one
    [gw1] [100%] PASSED test_case/test_1.py::test_two
  2. 添加group后test_1.py文件内容

    python 复制代码
    @pytest.mark.xdist_group(name="group_name")
    def test_one():
       pass
    
    @pytest.mark.xdist_group(name="group_name")
    def test_two():
        pass

    执行pytest test_1.py -v --dist loadgroup -n 2

    输出结果:test_one和test_two属于同一个worker gw0

    shell 复制代码
    test_case/test_1.py::test_one@group_name
    [gw0] [ 50%] PASSED test_case/test_1.py::test_one@group_name
    test_case/test_1.py::test_two@group_name
    [gw0] [100%] PASSED test_case/test_1.py::test_two@group_name
  3. 添加执行顺序后test_1.py文件内容

    python 复制代码
    @pytest.mark.xdist_group(name="group_name")
    @pytest.mark.order(2)
    def test_one():
      pass
    
    @pytest.mark.xdist_group(name="group_name")
    @pytest.mark.order(1)
    def test_two():
       pass

    执行pytest test_1.py -v --dist loadgroup -n 2

    输出结果: 用例在gw0中并且按顺序执行

    shell 复制代码
    test_case/test_1.py::test_two@group_name
    [gw0] [ 50%] PASSED test_case/test_1.py::test_two@group_name
    test_case/test_1.py::test_one@group_name
    [gw0] [100%] PASSED test_case/test_1.py::test_one@group_name
  4. 新建文件test_2.py文件内容

    python 复制代码
    import pytest
    
    @pytest.mark.dependency(depends=["test_name"])
    def test_three():
    	pass

    修改test_1.py文件内容

    python 复制代码
    import pytest
    
    @pytest.mark.dependency(name="test name")
    @pytest.mark.xdist_group(name="group_name")
    @pytest.mark.order(2)
    def test_one():
    	pass
    
    @pytest.mark.xdist_group(name="group_name")
    @pytest.mark.order(1)
    def test_two():
    	pass

    执行结果如下, test_three是skipped状态

    shell 复制代码
    test_case/test_1.py::test_two@group_name
    test_case/test_2.py::test_three
    [gw1] [ 33%] SKIPPED test_case/test_2.py::test_three
    [gw0] [ 66%] PASSED test_case/test_1.py::test_two@group_name
    test_case/test_1.py::test_one@group_name
    [gw0] [100%] PASSED test_case/test_1.py::test_one@group_name

    修改一下test_2.py

    python 复制代码
     import pytest
    
     @pytest.mark.xdist_group(name="group_name")
     @pytest.mark.dependency(depends=["test name"],scope='session')
     @pytest.mark.order(3)
     def test_three():
     	pass

    再次执行结果, 按指定顺序执行

    shell 复制代码
    test_case/test_1.py::test_two@group_name
    [gw0] [ 33%] PASSED test_case/test_1.py::test_two@group_name
    test_case/test_1.py::test_one@group_name
    [gw0] [ 66%] PASSED test_case/test_1.py::test_one@group_name
    test_case/test_2.py::test_three@group_name
    [gw0] [100%] PASSED test_case/test_2.py::test_three@group_name

经验之谈: 对于dependency不建议多用,用例设计的时候就需要考虑用例之间解耦,特别是对于UI自动化,为了保证通过率,需要设置失败重新运行,如果设置的依赖,很有可能出现被依赖的用例执行成功,但是依赖的用例是skipped状态

相关推荐
江湖中的阿龙4 分钟前
AI Agent 调用工具怎么做才稳?参数校验、幂等与审计的 Python 实战
人工智能·python·ai agent·工具调用
破茧蝴蝶12 分钟前
Selenium4 Python 页面白屏监控方案
开发语言·python
y = xⁿ17 分钟前
分享一下自己总结的RAG评测流程
人工智能·python
全栈弄潮儿29 分钟前
Python实战第6期:列表与元组
后端·python·编程语言
日耗10亿Token被老板赶出门34 分钟前
大模型接口返回 200,为什么程序还是报错?
python
小小张说故事38 分钟前
Python 的 __new__ 到底管什么?和 __init__ 的分工一次讲透Python后端python知识整理日新计划
python
青少儿编程课堂1 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会C/C++考级:并查集连通块与朋友圈问题解析
c++·python·算法·bfs·信息学竞赛
外收内放1 小时前
数据分析(数据排序)
python·学习·数据分析
Pniubi1 小时前
agent处理封号怎么解决误封问题
开发语言·python
小羊没烦恼!2 小时前
浅谈SQL Server中的事务日志(二)----事务日志在修改数据时的角色
前端·数据库·后端·python·web安全·oracle