LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS

Tags: LLM

Authors: Andrei Ioan Muresanu, Harris Chan, Jimmy Ba, Keiran Paster, Silviu Pitis, Yongchao Zhou, Ziwen Han

Created Date: October 31, 2023 10:53 AM

Status: Reading

organization: University of Toronto, University of Waterloo, Vector Institute

publisher : ICLR

year: 2023

code: https://github.com/keirp/automatic_prompt_engineer

paper: https://sites.google.com/view/automatic-prompt-engineer

介绍

在大模型时代,提示的作用非常巨大,一个好的提示可以在任务中表现出极好的性能。但通常来说最有效的提示是由人手工制作的,需要耗费大量的人工开销。因此本文就尝试让大语言模型自动生提示本并优化提示。

整体框架

整体流程如下:

  1. 利用大语言模型,根据数据集中的输入和输出,构造多个提示。
  2. 对每个提示进行打分。
  3. 筛选性能较好的提示,让大语言模型根据筛选结果生成相近的提示
  4. 选择最优的提示。

不同生成模板

为了适应不同的需求,作者还设计了三种不同的模板

迭代生成

为了更好地搜索优质提示,作者根据当前得分较好的提示进行重新生成。

实验结果

Greedy表示只生成一个提示,不进行筛选。

相关推荐
XLYcmy2 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy4 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
五网9 天前
软件测试用例模板怎么写:从用例设计到执行记录的全套指南
软件测试·论文阅读·全文检索·测试用例·论文笔记·用例设计·用例模板
大模型任我行15 天前
英伟达:双重采样修正强化学习奖励
人工智能·语言模型·自然语言处理·论文笔记
星辰云-1 个月前
基于Spring Boot+Vue的高校校园二手物品交易平台(论文+源码+演示视频)
毕业设计·课程设计·论文笔记·毕设
嫂子开门我是_我哥1 个月前
敏感性分析
算法·机器学习·论文笔记
CNSSIRD数据库1 个月前
中国省地县乡四级行政建制及区划代码-2025年版
大数据·数据库·数据分析·论文笔记
嫂子开门我是_我哥1 个月前
GPT辅助大数据类科研感悟
论文阅读·gpt·论文笔记
嫂子开门我是_我哥1 个月前
青少年抑郁、焦虑、失眠与自杀相关表现的症状联系:一篇网络分析论文所使用的算法深度解读
论文阅读·算法·论文笔记
嫂子开门我是_我哥1 个月前
青少年抑郁、焦虑、失眠与自杀相关表现的症状联系:一篇网络分析论文的深度解读
论文阅读·论文笔记