一次调整prompt的过程

文章目录

背景

最近在弄一个国外的开源库,它提供了全英文的api文档,因为我是负责这块以及我英文阅读还行。所以我自己读起来是没有任何困难的,但是我这个负责的模块要给其它模块来进行调用,所以就导致了其它开发人员的阅读困难,因为他们不了解,所以需要不断找我,我就使用RAG将api文档作为语料来使LLM能够对QA进行回答。

第一阶段

在这个阶段,考虑了直接将英文翻译成中文,但是文件过大,所以并不能使用gpt来进行翻译,只能通过翻译软件来进行翻译,这样就导致了一个问题,http请求参数以及响应中的字段也会被翻译,作为语料效果不好,遂放弃。

第二阶段

既然api文档大,原始的内容不好翻译,那就在prompt中写上要求gpt将中文问题翻译成英文问题,再在知识库中进行索引,这样就解决了中文问题在api文档中搜索不到相关知识。

但是又出现了虽然现在能搜索到相关知识点了,但是返回输出的依然是英文,这样也不方便,所以就要求gpt将返回的内容除了请求和响应这两部分之外的内容翻译成中文,这样就达到了中文问,中文回答的效果了。

第三阶段

用的过程中发现返回的信息由于gpt不知道该将那些翻译那些不翻译,所以就会产生格式问题,还得开发人员来进一步处理,比较麻烦,所以手工造了一个QA样例告诉gpt什么样是对的,什么样是错的。这样它就知道如何处理QA了。

总结

以下是每个阶段的改进措施及其作用总结:

第一阶段:内容翻译尝试

改进措施 :最初尝试将英文API文档整体翻译成中文,以便所有开发人员能直接读取中文内容。
问题 :由于文档体积过大,无法使用GPT直接翻译;通过翻译软件翻译会导致API请求和响应字段也被翻译,从而影响了技术术语和参数的准确性。
作用:这一阶段主要探索了全中文内容的可行性,但验证了保持API关键字段不变的必要性,因此最终放弃。

第二阶段:问题翻译与英文索引

改进措施 :将中文问题翻译成英文,以便在知识库中进行英文检索;检索后,要求GPT将回答内容中的请求和响应部分保持英文,其余内容翻译成中文。
问题 :虽然这种方法解决了中文提问和知识检索的问题,但输出的格式仍然不理想,GPT在翻译过程中对哪些部分需要保持英文并不清晰,造成了格式不统一。
作用:该阶段实现了中文提问、中文回答的基本效果,减少了开发人员阅读英文内容的障碍,但翻译一致性问题仍需优化。

第三阶段:格式优化与QA样例示例

改进措施 :创建手工QA样例,提供正确和错误示例,以明确示范哪部分应保持英文,哪部分需翻译成中文。这样GPT可以依样例调整回答格式,保持一致性。
问题 :格式问题在有示例后得到解决;但需要前期花费一些时间制作符合需求的样例。
作用:这一阶段通过QA示例标准化了回答的格式,确保了输出中技术字段的准确性和回答的易读性。开发人员无需额外格式调整,显著提升了沟通效率。

结论

每个阶段的改进最终解决了中文问答的流畅性和技术内容的准确性问题:

  1. 第一阶段明确了全翻译的弊端;
  2. 第二阶段实现了中文提问、部分翻译的初步效果;
  3. 第三阶段通过QA示例统一了输出格式,减少了后续人工调整,提高了使用体验和效率。
相关推荐
catino6 小时前
Prompt详解
人工智能·prompt
小白说大模型9 小时前
Codex 实战:用 AI 写运维脚本
大数据·运维·网络·人工智能·机器学习·prompt
xierui1231231 天前
AI创作工作流状态管理:为什么保存 Prompt仍然无法复现作品
人工智能·自动化·prompt·aigc·软件工程
喜欢吃豆1 天前
GEO 到底怎么做?从 Prompt 研究到 AI Citation 的完整落地方法
人工智能·prompt
yingyuecom1 天前
映悦AI × Joverse全球发布:四大重磅更新,AI创作进入工业化时代
人工智能·gpt·chatgpt·prompt·aigc
我有满天星辰2 天前
Spring AI Prompt 实战:System Prompt、User Prompt 与 PromptTemplate
人工智能·spring·prompt
小白说大模型2 天前
AI驱动的个性化学习路径:知识图谱与知识点关联的存储与推理
大数据·人工智能·学习·mysql·机器学习·prompt·知识图谱
精彩AI说2 天前
ChatGPT总是答非所问怎么办?提示词歧义、上下文干扰与提问方式排查
chatgpt·prompt·提示词·ai工具·chatgpt教程
qy2016skq3 天前
OpenClaw 源码解读——入门与破局9 双插件协同:Quota Guard 负责“停“,Model Router 负责“绕“
langchain·prompt·aigc·embedding·ai编程·llama·agi
qy2016skq3 天前
OpenClaw 源码解读——入门与破局8 从“报错不切换“到“秒级自动切换“:模型路由插件在 2026.4.14 上的五次迭代实录
langchain·prompt·aigc·embedding·ai编程·ai-native