[Playwright] [20][AI] 失败分析:让AI大模型帮你debug

上一篇讲了怎么让 AI 帮我生成 API 测试用例。这一篇讲反过来的场景:测试跑失败了,让 AI 帮我分析原因。

这次不是演示,是一次真实的失败。

我跑 AI 生成的 14 条 API 测试,download_all_jobs 这条挂了------业务上是"下载所有任务的输出归档",接口 GET /api/jobs/download。14 条里 13 条通过,就它一条失败,报错 status 500 not in [200]。(这次连同手写的 API 测试一起跑,总共 34 条;但本文只关心 AI 生成的这 14 条。)

问题来了:500 是服务端内部错误,光看这个状态码根本不知道为什么。是接口根本不存在?是后端真的抛异常了?还是环境问题?

最自然的做法,其实是把报错截图或复制下来,直接贴给 AI 问一句"这是怎么回事"。 我一开始也是这么想的------这确实最快、最接近日常排查现场。但它有个问题:问完就散在聊天记录里了,下次遇到同样的错还得重新贴一遍,也进不了 CI。

所以这次我换了个方式:把这次失败的信息整理成固定格式,写成一个可以重复运行的脚本去问千问。 这样同样的输入得到同样的输出,比散落在聊天记录里的问答更容易复现和留档。不过要说清楚:它现在读的仍是固定的 JSON 文件------要做到"换一个失败就能分析、测试一挂自动触发",还得再做参数化和失败信息采集这一步。从"随手问一句"到"固化成一个脚本",这本身就是我把项目当作品集打磨的一部分。

但写完这个 demo 我发现,真正值得写的,不是"AI 怎么分析",而是"我怎么拦着 AI 别乱下结论"。一个会脑补的 AI,在排错场景里不是帮手,是帮倒忙的。

1. 先看看这次失败的证据

先把这次失败的信息整理清楚。真实跑出来的测试结果是这样:

先看 AI 生成的这 14 条(在完整输出里是第 1~14 条):

text 复制代码
  ✓ 8  download_job_by_id (64ms)
  ✘ 9  download_all_jobs (21ms)   ← 唯一失败的一条

14 条里 13 条通过,只有第 9 条 download_all_jobs 失败。

注意一个有意思的对比:download_job_by_id(按 id 下载)是通过 的,挂的偏偏是 download_all_jobs(下载全部)。这说明接口大类是通的,问题更可能出在这条特定的路由或行为上。

Playwright 给出的失败详情是:

text 复制代码
Error: status 500 not in [200]
expect(received).toBe(expected) // Object.is equality
Expected: true
Received: false

意思是:实际返回 500,但这条用例允许的状态码只有 200------所以失败。

我把这次失败的证据整理成一个 JSON 文件 sample-failure.json:

json 复制代码
{
  "testName": "download_all_jobs",
  "description": "Download all jobs' outputs as archive",
  "method": "GET",
  "endpoint": "/api/jobs/download",
  "pathParams": {},
  "query": {},
  "requestBody": {},
  "expectedStatus": 200,
  "actualStatus": 500,
  "errorMessage": "status 500 not in [200]"
}

这里有个细节值得注意:我特意去查了 OpenAPI 规范,/api/jobs/download 这个接口只声明了 200,根本没有 500。也就是说,这个 500 是规范之外的响应------它要么是后端真的出问题了,要么是请求打到了一个不该打到的地方。这正是需要排查的地方。

2. 看到这个失败,会怎么想

一个有经验的测试工程师看到"预期 200、实际 500",脑子里会冒出一串可能性:

  • 接口路径是不是不对? 比如实际部署的服务里压根没有 /api/jobs/download 这个路由,请求打到别处,被某个中间层返回了 500。
  • 这条路由是不是在特定条件下抛异常? 比如没有可下载的数据、打包归档失败------而按 id 下载那条是好的,说明问题可能跟"下载全部"这个动作本身有关。
  • 测试环境本身正常吗? 后端服务是不是没起来、依赖没配好。
  • 是真的有 bug,还是环境问题?

注意这里的关键:"返回了 500"是事实,"接口不存在"或"后端有 bug"是猜测。 很多人(包括很多 AI)会一步跳到结论------"后端挂了"。但资深测试的本能是先把事实和假设分开,一步一步缩小范围。

我想要的 AI 排错助手,就得有这个本能。

3. 思路:让 AI 当"排错搭档",不当"背锅侠"

所以这个功能的定位很清楚:

AI 负责把散乱的失败信息整理成结构化的排查方向,人来做最终判断。

它给你四样东西:一句话摘要、按可能性排序的根因、建议的排查步骤、还需要补哪些证据。它 output 的是"你可以从这几个地方查起",而不是"这就是根本原因"。

拿这次的 500 来说,AI 应该告诉你"接口路径未实现""下载归档逻辑异常""服务环境异常"这几种可能性,而不是武断地说"后端有 bug"。

AI 是搭档,不是法官。 它帮你把排查起点整理好,但"到底是不是 bug、该不该改代码",决定权在人手里。

4. 把失败信息喂给 AI

analyze-failure.ts.ts 这个脚本干的事,拆开看就四步:

第一步,读配置、建客户端(跟生成篇用的是同一个千问客户端):

ts 复制代码
dotenv.config();
const client = new OpenAI({
  apiKey: process.env.DASHSCOPE_API_KEY,
  baseURL: process.env.QWEN_BASE_URL,
});

第二步,读取失败样本:

ts 复制代码
const failure = JSON.parse(
  fs.readFileSync(path.join(demoDir, 'sample-failure.json'), 'utf-8')
);

第三步,拼出 Prompt 并调用模型------把失败信息塞进去,要求它按四个部分回答:

ts 复制代码
const prompt = `
Analyze the following API test failure.
Failure information:
${JSON.stringify(failure, null, 2)}

Please provide:
1. A short summary of the failure.
2. Possible root causes, ranked by likelihood.
3. Recommended debugging steps.
4. What additional evidence is needed to confirm the root cause.
Respond in Chinese.
`;
const response = await client.chat.completions.create({
  model: process.env.QWEN_MODEL!,
  messages: [{ role: 'user', content: prompt }],
});

第四步,打印结果:

ts 复制代码
const analysis = response.choices[0]?.message?.content;
if (!analysis) throw new Error('Qwen returned an empty analysis');
console.log(analysis);

逻辑上没什么花哨的,就是"读证据 → 问模型 → 打印答案"。真正下功夫的地方,是上面那段 Prompt 没贴全的部分------几条"紧箍咒"。

5. 关键:Prompt 里的几条"紧箍咒"

这是整个功能最值钱的地方。我在 Prompt 里给 AI 加了几条硬规则:

text 复制代码
Important rules:
- Do not assume the API implementation is defective.   (不要假设接口实现有 bug)
- Distinguish facts from hypotheses.                    (区分事实和假设)
- Do not invent logs or system behavior.                (不要编造日志或系统行为)
- Do not automatically change the expected status code.(不要自动修改预期状态码)

逐条说为什么要加,拿这次的 500 举例:

规则 不加会怎样
不要假设接口有 bug AI 最爱直接甩锅"后端有问题"。但这次的 500 也可能是接口根本没实现、或下载归档时出了问题,得让它先把可能性摊开。
区分事实和假设 "实际返回 500、规范只声明 200"是事实,"接口路径未实现"是假设。逼它标清楚,读者才不会被带偏。
不要编造日志 大模型有个坏毛病:为了让分析"完整",会编出根本不存在的日志和系统行为。这在排错时是致命的误导。
不要自动改预期 防止它为了让测试通过,建议你把 expectedStatus 从 200 改成 500------那是掩盖问题,不是解决问题。

可以这么理解:这四条不是让 AI 更聪明,是让它更"守规矩"。 大模型的默认倾向是过度自信、爱下结论、为了显得有用而脑补。这几条规则就是在抑制这些倾向。

说到底,对 AI 保持怀疑,和对自己的判断保持怀疑,是同一种职业素养。 一个成熟的测试工程师,不会听 AI 说"是后端的锅"就去提 bug------他会先去验证接口到底存不存在、行为对不对。

6. AI 会输出什么

我要求 AI 按四段式回答,这也是模仿资深 SDET 的排错思路。下面是它针对这次 500 给出的真实输出(节选):

1. 失败摘要 --- 它先复述事实:期望 200、实际 500,并给出判断------"表明服务端发生了未捕获的异常或严重故障,而非客户端使用不当"。一句话就把排查范围收缩到了服务端。

2. 可能的根因(按可能性从高到低) --- 这一段最有意思,它自己分了三档:

  • ✅ 高可能性(事实支撑强) :归档生成逻辑存在未处理异常(路径不存在、磁盘不足、ZIP 库抛 OutOfMemoryError)、数据库或存储依赖超时;
  • 🟡 中等可能性(需验证):空数据集边界处理缺陷、并发竞争;
  • ❌ 低可能性(缺乏依据,暂不优先排查) :请求非法、网络中断、配置错误------并且每条都给了排除理由,比如"500 而非 401/403,且参数为空,不符合鉴权失败特征"。

3. 推荐调试步骤 --- 立即查服务端 ERROR 日志里的 Caused by: 最深层异常、复现时开 DEBUG 看归档各阶段、隔离验证依赖、用单个 job 最小化复现。

4. 确认根因所需的额外证据 --- 完整错误堆栈、对应时间点的系统指标、受影响 job 的元数据、原始响应体。

最打动我的是它对"低可能性"的处理:它不只给结论,还说明为什么这条可能性低、所以不值得优先排查。 这不是一条"免责声明",而是真正在帮你分配排查精力------先查哪里、后查哪里、哪些可以暂时不管。

回到那条约束:我在 Prompt 里写了"不要假设接口有 bug""区分事实与假设"。上面的输出里,"实际返回 500"被当作事实陈述,而每一种根因都被明确标注为"可能性"并附依据------这就是约束在起作用。它给你的是一张有轻有重的排查地图,不是一个斩钉截铁的错误结论。

这份输出的价值在于:它把"从哪查起"给你理清楚了 ,省掉了你盯着一个 500 发呆的时间。比如它建议的"用单个 job 最小化复现",正好呼应了我观察到的"download_job_by_id 通过、只有 download all 失败"这个现象。但它终究是建议------最后是不是 bug、要不要改,还是你说了算。

7. 顺着方向深挖:真的定位到了根因

上面那份分析给的是"从哪查起"。真正定位到原因,是顺着它给的方向------尤其是"存储 / 数据读取异常"这条------进一步去看后端代码才做到的。

找到原因了,而且跟 Memory 和 PostgreSQL 存储差异直接相关。

GET /api/jobs/download 的后端路由先从登录 session 或请求参数中取得 user_id,但接着调用:

python 复制代码
all_jobs_data = get_all_jobs_summary(user_id=None)

传入 None 后,calculations.py(line 251)会尝试遍历 store.jobs_by_user。Memory 存储有这个属性,但 PostgresStore(line 57)没有;它提供的是 get_jobs_by_user(...) 方法。因此使用 PostgreSQL 时会触发:

text 复制代码
AttributeError: 'PostgresStore' object has no attribute 'jobs_by_user'

所以测试预期 200、实际 500 的直接原因找到了:下载路由请求所有用户的任务数据时,调用了只适用于 Memory 存储的 jobs_by_user 属性。 认证方式可能影响 user_id 如何取得,但这次异常发生在后端按存储方式读取任务数据的地方。

一种可能的修复,是让下载路由按当前 user_id 调用 get_all_jobs_summary(user_id=user_id)。不过这会把行为限定为"下载当前用户的任务"------是否符合"下载所有任务"的产品语义,需要结合接口设计确认。

这次我只定位了根因,还没有修改后端。

从"脚本给出排查方向"到"顺着方向读代码、定位真因",这两步缺一不可。AI 把"从哪查起"压缩到了几秒钟,但真正打开后端代码、确认那一行 jobs_by_user 的,还是人。

8. 怎么跑起来

这个 demo 没有配 npm 脚本,直接用 tsx 跑:

powershell 复制代码
# 1. 配置 .env(DASHSCOPE_API_KEY / QWEN_BASE_URL / QWEN_MODEL)

# 2. 运行失败分析
npx tsx ai-testing/demo/analyze-failure.ts.ts

终端会打印出 ===== AI Failure Analysis ===== 和中文分析结果。

踩坑记录:第一次跑直接 401 了。

我第一次执行时也失败了,报的是:

text 复制代码
Failure analysis failed: 401 Invalid API-key provided.

很自然地去检查 .env,可里面的 Key 明明是对的。真正的原因藏在环境变量优先级里:

  • .env 里的 DASHSCOPE_API_KEY 长度是 116;
  • 而 shell 环境里同名的变量长度是 117------多了一个字符,是个旧的坏 Key。

脚本里写的是 dotenv.config()。dotenv 默认不会覆盖 process.env 里已经存在的同名变量 ,于是程序读的是 shell 里那个坏 Key,而不是 .env 里正确的那个,直接被服务端判为无效 Key。

解决办法就一行,让 .env 覆盖同名变量:

ts 复制代码
dotenv.config({ override: true });

改完再跑,立刻拿到了上面的分析结果。

这个坑和第 18 篇(千问 403 排查)是同一类问题------环境变量来源不唯一时,程序到底读了哪一个,得心里有数 。override: true 适合本地调试;但在 CI/CD 里要谨慎,避免意外覆盖平台注入的变量。
另一个真实细节:排查这次 500 时,我在生成的 spec 里加过一行 console.log('Response:', status, await res.text())(现在注释掉了),用来把真实的响应体打出来看。排错时先把原始证据打出来,比盯着断言失败猜半天有用得多。这就是那行调试日志的由来。

8. 边界与反思

同样把边界说清楚:

  1. 这是一个 不完整的。 失败信息目前是从固定的 JSON 文件读的,还没有做成"测试一挂就自动喂给 AI"的联动。要接进 CI,还得补一层失败信息的自动采集。
  2. 脚本给的是方向,确诊要靠人去读代码。 它输出的根因排序是"可能性",不是"确诊"。像这次的 500,脚本一开始列的是"接口未实现 / 归档逻辑异常"等推测;真正的根因(PostgresStore 没有 jobs_by_user 属性)是我顺着方向去翻后端代码才确认的。照着它给的方向去查可以,照着它说的直接改代码不行。
  3. Prompt 的克制是关键,不是装饰。 去掉那几条"紧箍咒",这个功能的价值会大打折扣------一个爱脑补的 AI,在排错场景里制造的信息噪声比它省下的时间多。
  4. 不要用它替代自己的判断。 它最适合的角色是"帮你快速整理思路的搭档",尤其是在你刚看到一堆报错、还没理出头绪的时候。

系列文章导航

篇数 文章主题
17 AI 总览:AI 到底怎么帮测试干活
18 A 千问 API 一直 403?排查记录
19 A 让 AI 写 API 测试:14 条用例与防幻觉闸门
20 AI 失败分析:测试挂了,让大模型帮你读报错(本文)

每篇尽量聚焦一个实际问题,结合真实代码、报错和测试结果,记录问题产生的原因、解决过程,以及从中学到的东西。


写在最后

写这篇的时候,我反而对"怎么用 AI"这件事有了更深的认识。

生成篇里,AI 帮我把测试铺开 ------解决的是"量"的问题。

这一篇里,AI 帮我把失败理清------解决的是"排查效率"的问题。

但两篇的共同点,其实是同一个原则:AI 的输出都要被人审核,而且要用工程手段(规范校验 / Prompt 约束)主动限制它的发挥。

拿这次的 500 来说:AI 可以帮我把"接口未实现 / 归档逻辑异常 / 环境问题"几种可能性排好序,但判断到底是哪一种、要不要提 bug,是我的活。

还有一个变化值得记下来:面对一个报错,我最初的本能是"截图发给 AI 问一句"------这最快,也最真实。但这一次我把它写成了脚本。就像这个项目一开始只是想让测试跑起来,后来才一步步追求可靠和可复现;用 AI 排查问题,也可以从"随手问一句"开始,再试着固化成"输入固定、输出可复现"的脚本------至于能不能进 CI,那是后面的事。

AI 可以帮你想,但不能替你判断。 让 AI 保持克制,本质上是让自己保持清醒。

相关推荐
MSTcheng.1 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
世冠科技1 小时前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native
轻松,带微笑1 小时前
AI竞争进入下半场:微软押注专业模型,通用大模型不再是唯一答案
人工智能·microsoft
哈尔滨张谦蛋1 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
MysTic_Zhong2 小时前
【3】核心引擎:LangGraph 编排与多路召回重排
人工智能·agent
vivo互联网技术2 小时前
研发数字人 Agent:从 0 到 1 的架构与实践
人工智能·agent·mcp
练习两年半的攻城狮2 小时前
企业级 AI Agent 架构知识点讲解(一):从知识型到业务型,从 LangGraph 到生产落地
人工智能·架构
Cosolar2 小时前
从 50ms 到 3 分钟:淘特动线 Agent 如何把 LLM 塞进一个有预算约束的实时系统
人工智能·后端·agent