Demystifying Prompts in Language Models via Perplexity Estimation

Demystifying Prompts in Language Models via Perplexity Estimation

原文链接

Gonen H, Iyer S, Blevins T, et al. Demystifying prompts in language models via perplexity estimation[J]. arXiv preprint arXiv:2212.04037, 2022.

简单来说就是作者通过在不同LLM和不同任务上的实验,发现低困惑度的prompt更能提升LLM的性能 ,如下图所示,困惑度和acc大致呈一个负相关的趋势。

作者为了证明自己的猜想,先手写了少量人工prompt,之后交给LLM paraphrase,包括用命令让LLM直接重写以及来回翻译(翻译成别的语言再翻译回来),从而得到了大量prompt。作者之后测试了这些prompt的性能,并计算了困惑度和表现得相似度,基本都是负相关。

基于此,作者提出了一种新的prompt方式,也就是先手写,再paraphrase,最后根据困惑度筛选。

相关推荐
云畅新视界12 分钟前
从 CODING 停服到极狐 GitLab “接棒”,软件研发工具市场风云再起
人工智能·gitlab
一ge科研小菜鸡17 分钟前
人工智能驱动下的可再生能源气象预测:构建绿色能源时代的新大脑
人工智能·能源
高压锅_122028 分钟前
Cursor+Coze+微信小程序实战: AI春联生成器
人工智能·微信小程序·notepad++
XiaoQiong.Zhang29 分钟前
数据分析框架和方法
人工智能
TY-202538 分钟前
三、神经网络——网络优化方法
人工智能·深度学习·神经网络
Jamence1 小时前
多模态大语言模型arxiv论文略读(156)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
哔哩哔哩技术1 小时前
IndexTTS2:用极致表现力颠覆听觉体验
人工智能
GengMS_DEV1 小时前
使用开源kkfileview实现电子档案文件的万能预览/水印等功能
人工智能
纪伊路上盛名在1 小时前
(鱼书)深度学习入门1:python入门
人工智能·python·深度学习