LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS

Tags: LLM

Authors: Andrei Ioan Muresanu, Harris Chan, Jimmy Ba, Keiran Paster, Silviu Pitis, Yongchao Zhou, Ziwen Han

Created Date: October 31, 2023 10:53 AM

Status: Reading

organization: University of Toronto, University of Waterloo, Vector Institute

publisher : ICLR

year: 2023

code: https://github.com/keirp/automatic_prompt_engineer

paper: https://sites.google.com/view/automatic-prompt-engineer

介绍

在大模型时代,提示的作用非常巨大,一个好的提示可以在任务中表现出极好的性能。但通常来说最有效的提示是由人手工制作的,需要耗费大量的人工开销。因此本文就尝试让大语言模型自动生提示本并优化提示。

整体框架

整体流程如下:

  1. 利用大语言模型,根据数据集中的输入和输出,构造多个提示。
  2. 对每个提示进行打分。
  3. 筛选性能较好的提示,让大语言模型根据筛选结果生成相近的提示
  4. 选择最优的提示。

不同生成模板

为了适应不同的需求,作者还设计了三种不同的模板

迭代生成

为了更好地搜索优质提示,作者根据当前得分较好的提示进行重新生成。

实验结果

Greedy表示只生成一个提示,不进行筛选。

相关推荐
c7691 天前
【文献笔记】Automatic Chain of Thought Prompting in Large Language Models
人工智能·笔记·语言模型·论文笔记
厨 神13 天前
阿里云ACP认证-实时数据仓库
论文笔记
Jamence15 天前
多模态大语言模型arxiv论文略读(130)
论文阅读·人工智能·深度学习·语言模型·论文笔记
Jamence15 天前
多模态大语言模型arxiv论文略读(131)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
Jamence17 天前
多模态大语言模型arxiv论文略读(125)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
Jamence18 天前
多模态大语言模型arxiv论文略读(123)
论文阅读·人工智能·深度学习·语言模型·论文笔记
LuH112422 天前
【论文阅读笔记】ICLR 2025 | 解析Ref-Gaussian如何实现高质量可交互反射渲染
论文阅读·笔记·论文笔记
Jamence22 天前
多模态大语言模型arxiv论文略读(118)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
Jamence23 天前
多模态大语言模型arxiv论文略读(119)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
Jamence25 天前
多模态大语言模型arxiv论文略读(113)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记