【ChatGPT-应用篇】基于ChatGPT覆盖测试过程的初步探索 | 京东物流技术团队

1、前言

22年底ChatGPT就已风靡行业内外，简单来说，它是基于自然语言生成式 AI 模型，打造的一款聊天机器人。是 OpenAI 于 11 月 30 日推出的最新作品，供公众免费测试。他可以根据用户的提示，模仿类似人类的对话，和普通的智能机器人有天地之别，非常真实。我们跟他说各种内容，比如写代码、汇总周报、写邮件、写诗句、查百科什么的，ChatGPT 都对答如流，根本不在话下。

圈内开始尝试利用chatGPT提升工作效率，比如VSCode，IDE 插件市场迅速上线 ChatGPT，诸多大神也纷纷基于chatGPT搭建微信、浏览器插件、客户端等。

如此火爆之势，作为测试人员对此也颇为好奇，简单的人机对话有哪些可以帮助我们测试工作呢？本文主要谈从测试视角，结合测试流程来看chatGPT的应用。

2、测试流程介绍

结合团队现有测试流程如下：

我们按照测试流程，拆解具体任务，测试人员在每个环节需要输出什么内容呢？

• 分析需求，编写测试计划，明确测试策略，包含安全、性能等，输出测试排期；
• 提炼出测试点，以功能点具体拆分测试用例，包含冒烟用例、流程用例、异常用例、联调用例等；
• 根据接口定义，提前准备自动化脚本，测试阶段按照业务流程增加断言及脚本调优；

再来细化，测试计划，提炼功能，这些必然需要测试人员通过自己对PRD的分析，对业务的熟悉后逐一定制，那GPT既然是人工智能对话，那我将总结出的"固定需求"对他进行发问，看看他的产出。

3、GPT答案评估

编写测试用例

按照提炼出的测试点，以简明扼要的语言与他沟通一轮，

接着，由于 ChatGPT 有记忆功能，它能知道刚才我们让它干了什么，

再给他些引导，让他继续

换一个GPT客户端再试一轮呢

上图所示，他的回答基本属于测试基础常识，距离真正的工作中的用例要求还是相差很多，甚至有些答非所问。我问的边界值，等价类，判定表等都没有回答到位，仿佛依然从他所学所会的库里翻找，在拍脑袋随机写用例，而且和最开始问的自营车新增接口仿佛没有特定关联。但用来作为补充和借鉴是非常好的。把他当做搜索引擎来用，结果聚合度高，不用搜索多个页面，自己汇总模板答案。

编写自动化脚本

到了第二步骤，随着测试前置不断推进，我们期望自动化占比冒烟用例的比例逐步提升，那如何能够提升自动化脚本的编写速度，我们来看看GPT能不能助我们一臂之力呢？

先来接口自动化的试试

然后同样的场景问问UI的呢

如上，他回答问题时会出现偶尔中断情况，需要我们再耐心一点继续发问

如上GPT给出了一个简单的线性脚本。他的答案不能直接copy，可能他的知识库没有覆盖足够的业务场景？

所以干脆我们直接跳过业务，问一个基础登录的示例，看看我们能用到哪些呢？

长截图不方便那我直接copy出来代码：

from seLenium import webdriver
import time
#设置测览器塑动路径
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

# 打开网址
driver.get('http:/example/")

# 验证用户名和密码输入框是否存在
assert driver.find_element_by_name('username')
assert driver.find_element_by_name('password')

# 测试无效用户名和密码
invalid_username ='fakeuser'
invalid_password ='fakepass'
driver.find_element_by_name('username').send_keys(invalid_username)
driver.find_element_by_name('password').send_keys(invalid_password)
driver.find_element_by_css_selector('button[type="submit"]').click()

# 检查错误消息是香正碑量示
error_msg= driver.find_element_by_css_selector(',alert-danger').text
assert "用户名或密码不正确" in error_msg

# 测试正确凭证
valid_username = 'testuser'
valid_password = 'testpass'

driver.find_element_by_name('username').clear()
driver.find_element_by_name('username').send_keys(vaLid_username)
driver.find_element_by_name('password').clear()
driver.find_element_by_name('password').send_keys(valid_password)
driver.find_element_by_name("button[type="submit"]') .click()

# 验证是否成功跳转到主页
time.sleep(1) #等待页面刷新
assert driver.current_url == 'http://example.cn/home/'

# 验证是显示用户信息
user_info = driver.find_element_by_css_selector('userinfo').text
assert valid_username in user_info

# 退出登录
driver.find_element_by_link_text("退出"),click()

# 关闭浏览器
driver.quit()

selenium自动化脚本的启动和收尾没太大问题；然后验证用户名密码输入框是否存在，如果不存在就报错了；然后用一个错误的用户名密码 登录了一次，验证提示语是否正确；然后又登录了一次正确的用户名密码，验证是否可以跳转到主页；然后又验证了一下主页的用户名显示元素是否包含用户名；最后点击退出按钮，然后关闭浏览器。

分析以上脚本：

优点：GPT写的代码基本没有语法问题，支持扫描被测试页面中的几个关键元素的定位；代码注释这点我觉得特别不错，是一个很好的代码规范，可以在我们日常中借鉴；

缺点：其中的正确用户名、密码、主页、主页用户名展示，主页退出按钮等都是GPT擅自揣测的且没有提前说明，如果给不懂脚本的人来看是会被忽悠住；

用例脚本太少了，和上面一大堆的用例完全不是一起来的；用例没有引入什么标准框架，比较落后；selenium的定位写法也比较落后，最新的版本中这种写法是会报错的；

脚本没有分层概念，不能直接复用到现有的成熟框架里。

总结：代码还不能完全落地，仍然需要人来完善，但作为开个头来说还是不错的。

然后，我继续更新问题让其用unittest来重写，以便测试GPT能做到的极限。

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

class LoginTestCase(unittest.TestCase):

    def setup(self):
        self.driver = webdriver.executable_path='/path/to/chromedriver')
        self.driver.get('http://Logout/')
    
    def tearDown(self):
        self.driver.quit()
    
    def test_invalid_credentials(self):
        # 测试无效用户名和密码
        invalid_usernane = "fakeuser"
        invalid_password = "fakepass"
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        submit_button = self.driver.find_element_by_css_selector("button[type='submit']")
        username_input.send_keys(invalid_username)
        password_input.send_keys(invalid_password)
        submit_button.click()
        
        # 检查错误消息是否正确显示
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn("用户名或密码不正确'，error_msg）


    def test_valid_credentials(self):
        # 测试正确数据
        valid_username='testuser'
        valid_password='testpass'
    
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        submit_button = self.driver.find_element_by_css_selector('button[type="subnit"]')
        username_input.clear()
        username_input.send_keys(valid_username)
        password_input.clear()
        password_input.send_keys(valid_password)
        submit_button.click()
        
        # 验证是否成功跳转到主页
        self.assertEqual(self.driver.current_url,"http://example/")
        
        # 验证是否显示用户信息
        user_info = self.driver.find_element_by_css_selector('.user-info').text
        self.assertIn(valid_username, user_info)
     def test_remember_me(self):
        # 测试是否记住用户名和密码
        valid_username ='testuser'
        valid_password='testpass'
        username_input = setf.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        remember_me_checkbox = self.driver.find_eLement_by_id('remember_me')
        submit_button = self.driver.find_element_by_css_selector("button[type='submit']")

        username_input.clear()
        username_input.send_keys(valid_username)
        password_input.clear()
        password_input.send_keys(valid_password)
        remember_me_checkbox.cLick()
        submit_button.click()

        # 验证是否已记住用户名和密码
        self.driver.get('http://example/")
        username_input = setf.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')

        self.assertEqual(usernane_input.get_attribute("value"),valid_usernane)
        self.assertEqual(password_input.get_attribute("value"),valid_password)

再来分析以上脚本，优点：使用了uniitest框架；增加了一条测试记住的用例；初始化的代码写在了setup可以保证每条用例的低耦合；缺点：数量，场景等仍然远远不足，且没有使用任何高级的写法，没有考虑时间等待等异常风险。 然后我再次提高询问水准，看看其代码程度，代码比较重复度高，截取一些关键点和新的部分：

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
class LoginTestCase(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
        self.driver.get('http:/example/')
    def tearDown(self):
        self.driver.quit()
    def test_invalid_credentials(self):
        # 测试无效用户名和密码
    def test_valid_credentials(self):
        # 测试正确凭据
    def test_remember_me(self):
        # 测试是否记住用户名和密码
    def test_empty_credentials(self):
        # 测试空用户名和密码
    def test_long_credentials(self):
        # 测试过长的用户名和密码
    def test_lockout_after_failed_attempts(self):
        # 测试多次失败登录后账户锁定
        invalid_username = 'testuser'
        invalid_password = 'wrongpass'
        username_input, password_input, submit_button = self._get_login_elements()
        for _ in range(3):
            ...
        # 检查账户是否被锁定
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn('您的账户已被锁定', error_msg)

    def _get_login_elements(self):
        # 获取登录表单元素
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        remember_me_checkbox = self.driver.find_element_by_id('remember-me')
        submit_button = self.driver.find_element_by_css_selector('button[type="submit"]')
        return username_input, password_input, remember_me_checkbox, submit_button
if __name__ == '__main__':
    unittest.main()

继续点评：

优点：用例条数增多，如果继续追问下去，应该还可以增加；有了初级page-object模式的影子，元素定位独立出来了；

缺点：代码冗余，没有充分利用好用例规程和并发线程，浪费了很多执行时间。仍然没有考虑到一些网络延迟，卡顿等异常风险的处理。尚无数据驱动和关键字驱动概念。

然后我们继续升级提问文案，让其并发一下：

def test_login(self):
    #使用多个数据组合测试登录功能
    test_data=
    [
        ('username':'testuser','password':"testpass",'expected_uri':"http://example/",'expected_text':"欢迎testuser"},
        ('username':"fakeuser','password':"fakepass",'expected_error':"用户名或密码不正确"},
        ('username':'','password':"",'expected_error':"请输入用户名"}
    [
    threads = []
    for data in test_data:
        thread = threading.Thread(target=self._perform_login, args=(data,))
        thread.start()
        threads.append(thread)
    for thread in threads:
        thread.join()
def _perform_login(self,data):
    #执行单次登录操作
    username_input,password_input,submit_button=self._get_login_elements()
    
    username_input.clear()
    username_input.send_keys(data['username'])
    password_input.clear()
    password_input.send_keys(data['password'])
    submit_button.click()
    
    if 'expected_error' in data:
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn(data['expected_error'],error_msg)
    else:
        self.assertEqual(data['expected_url'],self.driver.current_url)
        self.assertIn(data['expected_text'],self.driver.page_source)

点评：

优点：上述代码，使用了thread库进行多线程并发；巧妙的初步运用了数据驱动的概念，不但用户名密码是不同的，连每次的提示语和url都进行了断言；初步运用了关键字驱动，来让每个线程自动判断自身的断言目的。而po模式的影子仍然存在；

缺点：多线程的运用没有进行系统的封装，存在较大风险和局限；用例的内容结构比较单一，之前复杂的如测试浏览器记住用户密码等无法参与到这个并发中；线程是按照用例作为基本单位，对需要前后文关联的多用例是无法实现的，（所以需要在线程和用例之间制作新的中间层作为单位比较好）；数据分离仍然没有实现。

继续优化提问，看看结果：（代码仍然简化，只留下关键行）

class LoginPage:
    def __init__(self, driver):
        self.driver = driver
    def load(self):
        self.driver.get('http:/t/')
    def login(self, username, password, remember_me):
        # 输入用户名和密码
        username_input, password_input, remember_me_checkbox, submit_button = self._get_login_elements()
        ...
        # 点击"登录"按钮
    def get_error_message(self):

        return error_msg
    def get_user_info(self):
        return user_info
    def _get_login_elements(self):
        # 获取登录表单元素
        return username_input, password_input, remember_me_checkbox, submit_button

class LoginTest(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
        self.login_page = LoginPage(self.driver)
    def tearDown(self):
        self.driver.quit()
    def test_valid_login(self):
        # 测试正确凭据登录
        test_data = {'username': 'testuser', 'password': 'testpass', 'remember_me': True}
        self.login_page.load()
        self.login_page.login(test_data['username'], test_data['password'], test_data['remember_me'])
        # 验证是否成功跳转到主页并显示用户信息
    def test_invalid_login(self):
        # 测试无效凭据登录
    def test_empty_username(self):
        # 测试空用户名登录

class LoginKeywordTest(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
    def tearDown(self):
        self.driver.quit()
    def test_valid_login(self):
        # 测试正确凭据登录
        test_data = {'username': 'testuser', 'password': 'testpass', 'remember_me': True}
        self._perform_login(test_data)
        # 验证是否成功跳转到主页并显示用户信息
    def test_invalid_login(self):
        # 测试无效凭据登录
        test_data = {'username': 'fakeuser', 'password': 'fakepass', 'expected_error': '用户名或密码不正确'}
        self._perform_login(test_data)
        # 检查错误消息是否正确显示
    def test_empty_username(self):
        # 测试空用户名登录
         ......
        

点评：

优点：增加了关键字驱动，数据驱动，po模式，并发等高级用法。

缺点：各种高级用法割裂严重，并没有融合到一起去实现，而是单纯的写了好几个独立的类demo。

总结：代码直接运行起来还是会有很多问题，需要大量人工矫正。同样在连续的对话中，也需要测试同学自身对代码和框架建设的理解，才能挖掘更深一步GPT更多的价值，否则首次发问的答案目前不能提供更多参考。

功能测试阶段

前期准备测试用例，现在开始执行测试，日常工作测试验证预期的三板斧呢？看页面，翻日志，查数据库。

于是，继续找他编写SQL，查看日志，

增加查询条件再问试试

对于融入执行测试阶段呢，以上发问感觉像有了屠龙刀，但还没掌握对应的功法，他带给我们的回答只是用屠龙刀在砍树，整理问题思路的时间，以刚入门的测试同学的能力都足以完成基础SQL的编写。

4、总结

想要让chatGPT产出有效的回答，而不是对你say sorry需要遵循以下四个原则：

• 提问清晰：尽可能清晰的、完整的描述问题
• 简明扼要：尽量使用简单的语言和简洁的句子来表达问题，目前很多免费插件对描述字数都有限制
• 单一提问：请一个一个的问，而不是把所有问题放在一个问题
• 不要提供敏感信息：不要在问题中提供任何个人敏感信息

从上述实践可以看到，GPT会帮助你实现一些细节和底层，开发过程我们需要更加注重表层应用和交互使用，日常中有不错的点子和设计，但是没足够的时间去亲力亲为的实现，大量的重复建设代码在浪费自己的精力，有了GPT理论上可以短时间内实现爆炸输出。在测试流程的应用，目前我还在初步探索阶段，是否能对团队测试工作提效，还需要进一步的研究，后续会陆续补充，欢迎大家线上线下随时交流。

作者：京东物流 刘红妍

来源：京东云开发者社区 自猿其说Tech 转载请注明来源