大模型应用-筑基期【06:Prompt调试与迭代方法】

W3 · 知识点06:Prompt调试与迭代方法

学习目标:以设备维修系统为场景,建立系统化的Prompt调试方法论,像调试代码一样调试提示词。


一、Prompt调试的核心原则

你的设备维修系统上线后,用户反馈"AI诊断的结果不靠谱"。这时候你不能瞎改Prompt,需要像debug代码一样,定位问题出在哪一句。

复制代码
写Prompt → 用真实维修案例测试 → 分析输出哪里不对 → 定向修改 → 再测试 → 稳定可用

二、设备维修场景的常见"症状"与"处方"

症状 可能的原因 解决方案
诊断太笼统:"可能是机械故障" 没有要求具体分析到部件 加"请具体到哪个零部件"
给出不存在的零件型号 模型幻觉 加"如果不确定型号,请标注'需确认'"
安全注意事项遗漏 没有明确要求 加"必须列出操作前的安全确认步骤"
维修步骤顺序混乱 没有约束结构 加"按操作先后顺序排列"
每次都给出不同诊断 Temperature太高 降低到0.1-0.3
用词过于专业,客户看不懂 角色设定不对 切换为"面对非技术客户的客服角色"

三、实战迭代:设备故障诊断Prompt

第一轮:基础版(先跑通)

复制代码
"分析这个设备故障:空压机运行时发出金属摩擦声,温度偏高。"
→ 输出:可能是轴承问题,建议检查。 ← 太笼统

第二轮:加角色和约束

复制代码
"你是一位资深设备维修工程师。请分析以下故障:
空压机运行时发出金属摩擦声,温度偏高。
要求:
- 列出前3个最可能的故障原因
- 给出每个原因的排查方法
- 说明维修优先级"
→ 好多了,但格式不统一

第三轮:加结构化输出

复制代码
"你是一位资深设备维修工程师。请分析以下故障:
空压机运行时发出金属摩擦声,温度偏高。

请按以下格式输出:
## 故障分析
### 可能原因(按可能性排序)
1. **[原因]** - 可能性:高/中/低
   - 排查方法:___
   - 所需工具:___
2. ...

### 建议操作
1. 立即:___
2. 短期:___

### 安全提醒
- ___"
→ 格式稳定,内容专业。可以入库了。

第四轮:处理边界情况

复制代码
...前面的内容不变...

额外要求:
- 如果信息不足以判断,明确指出需要补充哪些信息
- 不要编造不确定的设备参数
- 如果故障涉及安全风险,必须在开头用 ⚠️ 标注

四、Prompt调试工具箱(设备维修版)

技巧1:让AI告诉你它需要什么信息

复制代码
"我想让你帮我诊断设备故障。在开始之前,请告诉我你需要哪些信息才能做出准确的诊断?"

AI回复可能包括:
- 设备型号和生产年份
- 故障发生的时间和频率
- 最近一次保养时间
- 运行环境的温湿度
- 是否有异常声音/气味/振动
→ 这就是你的维修工单应该收集的字段!

技巧2:让AI自我审查诊断结果

复制代码
"请检查你刚才的故障诊断:
1. 是否有不符合实际物理规律的判断?
2. 是否遗漏了安全风险?
3. 维修步骤的操作顺序是否合理?
如果有问题,请修正。"

技巧3:用真实案例做回归测试

复制代码
准备10个已知的设备故障案例(含标准答案),每次修改Prompt后全部跑一遍:

| 案例 | 修改前 | 修改后 | 变化 |
|------|--------|--------|------|
| 轴承磨损 | ✅正确 | ✅正确 | 无 |
| 电气短路 | ❌漏判 | ✅正确 | 改善 |
| 液压油泄漏 | ✅正确 | ❌误判 | 退化! |
→ 发现修改导致了回归问题,需要调整

五、动手练习

练习1:Prompt迭代日志

选一个设备维修任务(例如"根据故障描述生成维修工单"),记录迭代过程:

复制代码
版本1: [Prompt] → [输出] → [问题:格式不统一]
版本2: [加了格式模板] → [变化] → [问题:字段缺失]
版本3: [加了字段完整性要求] → [最终输出] → [满意]

练习2:建立设备维修Prompt测试集

收集10个不同类型的设备故障案例,作为你每次修改Prompt后的"单元测试"。

练习3:调试清单

复制代码
设备维修Prompt调试检查清单:
- [ ] 角色设定是否匹配目标用户(维修工/管理员/客户)?
- [ ] 是否覆盖了安全风险提醒?
- [ ] 输出格式是否可直接被系统使用?
- [ ] 是否处理了信息不足的情况?
- [ ] 是否在10个测试案例上全部通过?

六、本知识点检验标准

  • 能根据输出"症状"快速定位设备维修Prompt的问题
  • 建立了自己的Prompt迭代方法论和测试集
  • 完成至少1个Prompt从"不好用"到"稳定可用"的完整迭代记录