论文 | LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS

作者: Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba

发表时间: 2023 年 ICLR 会议论文

主要内容:

本文提出了一种名为 APE (Automatic Prompt Engineer) 的方法,旨在自动生成和选择用于指导大型语言模型 (LLM) 的指令。文章的主要贡献可以概括为以下几点:

  • 自然语言程序合成: 将指令生成问题与程序合成问题进行类比,将指令视为"程序",并使用 LLM 进行优化,从而找到最优的指令。
  • 人类级别的零样本学习性能: 在多个任务中验证了 APE 的有效性,包括 24 个指令诱导任务和 21 个 BIG-Bench 任务。在所有这些任务中,APE 生成的指令在零样本学习方面达到了与人类标注者相当甚至更好的性能。
  • 性能分析: 论文进行了广泛的定性和定量分析,探索了 APE 的各个方面,包括提案分布、评分函数和迭代搜索。结果表明,使用更大的 LLM 和人类对齐的模型可以生成更好的提案分布,并且迭代蒙特卡洛搜索可以略微提高指令质量。
  • 应用案例: 论文展示了 APE 在几个任务中的应用,例如指令诱导、零样本思维链和真实性。APE 生成的指令可以显著提高零样本和少样本学习性能,找到比"让我们一步一步思考"更好的思维链提示,以及指导 LLM 生成更真实和更信息的答案。
  • 成本分析: 论文进行了成本分析,结果表明,尽管大型模型的每 tokens 成本更高,但它们在生成最佳指令方面更具成本效益。这主要是因为大型模型可以生成更简洁的指令,从而减少评分所需的计算资源。

结论:

APE 是一种很有前景的方法,可以自动生成和选择用于指导 LLM 的指令。它具有效率高、性能好、可扩展性强等优点,为控制和管理生成式人工智能提供了新的思路。

个人思考:

这篇论文展示了一个有趣的想法,即利用 LLM 自动生成和选择指令,从而提高模型在下游任务中的性能。这种方法可以显著减少人工编写和验证有效指令所需的时间,并使 LLM 更易于使用。未来,我们可以进一步探索 APE 的应用场景,例如将其用于其他具有自然语言界面的模型,并开发用于优化提示长度的方法,以进一步降低成本。

相关推荐
千寻技术帮14 分钟前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源27 分钟前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔30 分钟前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang1 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE10 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷11 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我11 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0111 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java12 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn12 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent