大语言模型-GPT3-Language Models are Few-Shot Learners

一、背景信息：

GPT3是于2020 年由OpenAI 发布的预训练语言模型。

GPT3在自然语言处理（NLP）任务中表现出色，可以生成连贯的文本、回答问题、进行对话等。

GPT3的网络架构继续沿用GPT1、GPT2的是多层Transformer Decoder改的结构。

GPT3出自Language Models are Few-Shot Learners，语言模型是Few-Shot学习者。

二、整体结构：

更新改动

GPT3继续沿用在GPT2中使用的单向 Transformer Decoder 的结构。其中96层Decoder的GPT3被称作"GPT"

相较于GPT2模型结构，GPT3做了下面几项改动：

模型中的Transformer采用了类似Sparse Transformer 的结构，用以节省模型训练过程中的显存占用。
GPT3使用的最长词向量长度为12888。
GPT3上下文划窗的窗口大小提升至2048个token。
GPT3分别使用了24、32、40、96层的Transformer Decoder。

Sparse Transformer

GPT3在 transformer 层中交替地使用稠密的(alternating Dense Attention)和局部带状稀疏(locally Band sparse Attention)的注意力模式，类似于 Sparse Transformer。

使用 sparse attention 的好处主要有以下两点：

减少注意力层的计算复杂度: 节约显存和耗时，从而能够处理更长的输入序列；
具有"局部紧密相关和远程稀疏相关"的特性: 对于距离较近的上下文关注更多，对于距离较远的上下文关注较少；

（1）Sparse Transformer 的两个模式

Sparse Transformer 原文中提到了两种不同模式stride 模式、 fixed 模式。

【stride模式】本质上也是两种基础模式的组合，即带状模式和相对的间隔模式。在多头注意力机制中，不同的头采用不同的基础模式。

【fixed模式】本质上也是两种基础模式的组合，即分块模式和固定的间隔模式。在多头注意力机制中，不同的头采用不同的基础模式。

stride模式是这样的，在二维空间中定义分解注意模式的一种自然方法是，让一个头关注位置L之前的元素(行)，另一个头关注每第L个位置（列），其中L是步幅，选择接近np。

（2）Band Attention

带状稀疏注意力,也被称为滑动窗口注意力。

带状注意力假设:一个元素（或令牌、像素等）与其邻近元素的关联性通常要比与远处元素的关联性更强。因此，限制每个查询仅关注其邻近节点是一种自然且有效的方式。

因此，带状注意力通过将注意力限制在一个局部区域内，显著减少了计算量。因为它只计算和存储那些可能高度相关的元素对之间的关系。此外，这种方法还能帮助模型更加聚焦于局部上下文，这在很多任务中是非常有益的，比如在处理语言时捕捉短语层面的依赖关系，或在处理图像时关注局部特征。

（3）稀疏注意力（Sparse Attention）的理解

自注意力（Self-Attention）机制是Transformer模型核心组成部分，它允许模型在处理序列数据时动态地关注序列中的不同部分。

然而，随着序列长度的增加，标准的自注意力机制的计算复杂度和内存需求也会指数增加，这限制了模型处理长序列数据的能力。

稀疏注意力（Sparse Attention）机制的提出就是为了解决这个问题。

稀疏注意力机制的核心思想是在自注意力计算中引入稀疏性，即不是让序列中的每个位置都与其他所有位置进行注意力计算，而是仅选择部分位置进行计算。这种选择可以基于不同的策略，例如固定的模式（如局部窗口）、基于内容的选择（如与当前位置最相关的其他位置），或者是通过学习得到的模式。通过这种方式，稀疏注意力机制减少了计算量和内存占用，使得模型能够更高效地处理长序列。

dense attention：每个 token 之间两两计算 attention，复杂度 O(n²)

sparse attention：每个 token 只与其他 token 的一个子集计算 attention，复杂度 O(n*logn)

一般sparse attention 除了相对距离不超过 k 以及相对距离为 k，2k，3k，... 的 token，其他所有 token 的注意力都设为 0

三、模型评估

（1）In-context learning

(又称为few shot learning)通过少数几个例子告诉模型你想要的结果，然后模型就按照给的示例来进行执行。

GPT-3使用了"In-Context Learning"的方式，在不进行梯度更新或fine-tune的情况下，直接在上下文中进行学习。

元学习（meta-learning）:

元学习的核心思想在于通过少量的数据寻找一个合适的初始化范围，使得模型能够在有限的数据集上快速拟合，并获得不错的效果。

MAML（Model-Agnostic Meta-Learning）是一种元学习算法，正常的监督学习是将一个批次的数据打包成一个batch进行学习。但是元学习是将一个个任务打包成batch，每个batch分为支持集（support set）和质询集（query set），类似于学习任务中的训练集和测试集。

MAML的迭代 涉及两次参数更新，分别是内循环（inner loop）和外循环（outer loop）。内循环是根据任务标签快速的对具体的任务进行学习和适应，而外循环则是对参数进行更新。

直观的理解，我用一组MAML的参数权重去学习多个任务，如果每个任务都学得比较好，则说明这组参数是一个不错的初始化值，否则我们就去对这组参数进行更新。

GPT-3中据介绍的in-context learning（情境学习）是元学习的内循环，而基于语言模型的SGD则是外循环: