W3 · 知识点06:Prompt调试与迭代方法
学习目标:以设备维修系统为场景,建立系统化的Prompt调试方法论,像调试代码一样调试提示词。
一、Prompt调试的核心原则
你的设备维修系统上线后,用户反馈"AI诊断的结果不靠谱"。这时候你不能瞎改Prompt,需要像debug代码一样,定位问题出在哪一句。
写Prompt → 用真实维修案例测试 → 分析输出哪里不对 → 定向修改 → 再测试 → 稳定可用
二、设备维修场景的常见"症状"与"处方"
| 症状 | 可能的原因 | 解决方案 |
|---|---|---|
| 诊断太笼统:"可能是机械故障" | 没有要求具体分析到部件 | 加"请具体到哪个零部件" |
| 给出不存在的零件型号 | 模型幻觉 | 加"如果不确定型号,请标注'需确认'" |
| 安全注意事项遗漏 | 没有明确要求 | 加"必须列出操作前的安全确认步骤" |
| 维修步骤顺序混乱 | 没有约束结构 | 加"按操作先后顺序排列" |
| 每次都给出不同诊断 | Temperature太高 | 降低到0.1-0.3 |
| 用词过于专业,客户看不懂 | 角色设定不对 | 切换为"面对非技术客户的客服角色" |
三、实战迭代:设备故障诊断Prompt
第一轮:基础版(先跑通)
"分析这个设备故障:空压机运行时发出金属摩擦声,温度偏高。"
→ 输出:可能是轴承问题,建议检查。 ← 太笼统
第二轮:加角色和约束
"你是一位资深设备维修工程师。请分析以下故障:
空压机运行时发出金属摩擦声,温度偏高。
要求:
- 列出前3个最可能的故障原因
- 给出每个原因的排查方法
- 说明维修优先级"
→ 好多了,但格式不统一
第三轮:加结构化输出
"你是一位资深设备维修工程师。请分析以下故障:
空压机运行时发出金属摩擦声,温度偏高。
请按以下格式输出:
## 故障分析
### 可能原因(按可能性排序)
1. **[原因]** - 可能性:高/中/低
- 排查方法:___
- 所需工具:___
2. ...
### 建议操作
1. 立即:___
2. 短期:___
### 安全提醒
- ___"
→ 格式稳定,内容专业。可以入库了。
第四轮:处理边界情况
...前面的内容不变...
额外要求:
- 如果信息不足以判断,明确指出需要补充哪些信息
- 不要编造不确定的设备参数
- 如果故障涉及安全风险,必须在开头用 ⚠️ 标注
四、Prompt调试工具箱(设备维修版)
技巧1:让AI告诉你它需要什么信息
"我想让你帮我诊断设备故障。在开始之前,请告诉我你需要哪些信息才能做出准确的诊断?"
AI回复可能包括:
- 设备型号和生产年份
- 故障发生的时间和频率
- 最近一次保养时间
- 运行环境的温湿度
- 是否有异常声音/气味/振动
→ 这就是你的维修工单应该收集的字段!
技巧2:让AI自我审查诊断结果
"请检查你刚才的故障诊断:
1. 是否有不符合实际物理规律的判断?
2. 是否遗漏了安全风险?
3. 维修步骤的操作顺序是否合理?
如果有问题,请修正。"
技巧3:用真实案例做回归测试
准备10个已知的设备故障案例(含标准答案),每次修改Prompt后全部跑一遍:
| 案例 | 修改前 | 修改后 | 变化 |
|------|--------|--------|------|
| 轴承磨损 | ✅正确 | ✅正确 | 无 |
| 电气短路 | ❌漏判 | ✅正确 | 改善 |
| 液压油泄漏 | ✅正确 | ❌误判 | 退化! |
→ 发现修改导致了回归问题,需要调整
五、动手练习
练习1:Prompt迭代日志
选一个设备维修任务(例如"根据故障描述生成维修工单"),记录迭代过程:
版本1: [Prompt] → [输出] → [问题:格式不统一]
版本2: [加了格式模板] → [变化] → [问题:字段缺失]
版本3: [加了字段完整性要求] → [最终输出] → [满意]
练习2:建立设备维修Prompt测试集
收集10个不同类型的设备故障案例,作为你每次修改Prompt后的"单元测试"。
练习3:调试清单
设备维修Prompt调试检查清单:
- [ ] 角色设定是否匹配目标用户(维修工/管理员/客户)?
- [ ] 是否覆盖了安全风险提醒?
- [ ] 输出格式是否可直接被系统使用?
- [ ] 是否处理了信息不足的情况?
- [ ] 是否在10个测试案例上全部通过?
六、本知识点检验标准
- 能根据输出"症状"快速定位设备维修Prompt的问题
- 建立了自己的Prompt迭代方法论和测试集
- 完成至少1个Prompt从"不好用"到"稳定可用"的完整迭代记录