What Makes Pre-trained Language Models Better Zero-shot Learners?

本文是LLM系列文章,针对《What Makes Pre-trained Language Models Better Zero-shot Learners?》的翻译。

是什么让经过预训练的语言模型更好地成为零样本学习者?

  • 摘要
  • [1 引言](#1 引言)
  • [2 前言](#2 前言)
  • [3 假设](#3 假设)
  • [4 方法](#4 方法)
  • [5 前导性研究](#5 前导性研究)
  • [6 实验](#6 实验)
  • [7 讨论](#7 讨论)
  • [8 结论](#8 结论)
  • [9 局限性](#9 局限性)

摘要

当前在零样本场景中进行提示学习的方法广泛依赖于具有足够的人工注释数据的开发集,以事后选择性能最佳的提示模板。这并不理想,因为在现实世界中具有实际相关性的零样本场景中,没有标记的数据可用。因此,我们提出了一种简单而有效的方法来筛选零样本文本分类中合理的提示模板:困惑选择(Perption)。我们假设语言差异可以用来衡量提示模板的效果,从而开发出一个基于困惑的方案,可以提前预测提示模板的性能。实验表明,我们的方法在现实的零样本设置中提高了预测性能,消除了对任何标记示例的需要。

1 引言

2 前言

3 假设

4 方法

5 前导性研究

6 实验

7 讨论

8 结论

我们开发了困惑选择提示(Perption),这是一种在不使用任何人工注释数据的情况下实现现实世界零样本文本分类的方法。一项试点研究表明,困惑可以有效地衡量模板的功效。实验结果表明,对于英汉数据集,我们的方法可以在不使用开发集的情况下,在二元情感分析和多类分类中提高完成型风格提示学习的零样本性能。进一步的深入分析支持了Perption可以"预见"提示模板的功效的观察结果。

9 局限性

在本研究中,我们主要使用BERT系列模型进行中文文本分类任务。考虑到转换语言模型和预训练范式的相似性,以及第6.3节中讨论的英语数据集的初步结果,我们可能能够将结果外推到其他架构/任务/语言。

例如,Perption可以无缝地应用于仅解码器的模型(例如,GLM、LLaMA),以查看它是否可以提高那些NLG任务的性能。但还需要进一步的调查来验证这些发现在其他模型体系结构、任务和语言上的实用性。在未来,我们预计Perption将应用于不同的NLG任务,如seq2seq信息提取、问答、算术推理、机器翻译甚至多模态任务。

此外,使用Perption可能会加剧预先训练的语言模型的固有局限性。我们怀疑,在预训练期间,模型没有接触到某些文本或概念的情况下,对模板选择的困惑可能会导致较差的性能。在未来,我们希望探索是否可以通过某些无注释的方法来缓解这个问题,例如使用下游数据进行连续的自我监督训练,或者在有限标签信息的少样本设置中扩展我们的方法。

此外,使用困惑作为衡量标准有利于长文本的缺点,这迫使我们设计相同长度的模板。因此,长度不可知的度量可以被认为是一种替代方法。

相关推荐
不去幼儿园43 分钟前
【MARL】深入理解多智能体近端策略优化(MAPPO)算法与调参
人工智能·python·算法·机器学习·强化学习
想成为高手4991 小时前
生成式AI在教育技术中的应用:变革与创新
人工智能·aigc
YSGZJJ2 小时前
股指期货的套保策略如何精准选择和规避风险?
人工智能·区块链
无脑敲代码,bug漫天飞2 小时前
COR 损失函数
人工智能·机器学习
HPC_fac130520678163 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
小陈phd5 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao6 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
ZHOU_WUYI10 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若12310 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界11 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲