大模型基础BERT——Transformers的双向编码器表示

大模型基础BERT------Transformers的双向编码器表示

整体概况

BERT：用于语言理解的深度双向Transform的预训练

论文题目：BERT: Pre-training of Deep Bidirectional Transformers for

Language Understanding
B idirectional E ncoder R epresentations from T ransformers.

概括：这篇文章在摘要部分说明了其参考的主要的文章就是ELBO和GPT的相关工作。

BERT 模型只需一个额外的输出层即可进行微调，从而为各种任务（例如问答和语言推理）创建最先进的模型，而无需对特定于任务的架构进行大量修改
和论文的标题要对应起来预训练最早我们使用的是词嵌入来做模型的预训练的任务的，当然后面GPT系列的文章。
做预训练任务的时候主要有两种方式例如ELBO基于特征的方式，和BERT基于微调的方式。（GPT）感觉就像是迁移学习
受完形填空任务启发，通过使用"掩码语言模型"（MLM）预训练目标来实现前面提到的单向性约束（Taylor，1953）。

词嵌入wordembing（word2vec）

在进一步学习自然语言处理之前，因为自己之前主要研究的是cv的方向，因此对自然语言处理缺乏足够的知识去学习。在学习双向编码器之前需要先学习一些NLP的基础知识。

在自然语言处理中： 词是意义的基本单元。顾名思义， 词向量是用于表示单词意义的向量，并且还可以被认为是单词的特征向量或表示。将单词映射到实向量的技术称为词嵌入 。近年来，词嵌入逐渐成为自然语言处理的基础知识

在NLP领域构建词向量的过程中，我们如果使用独热编码的方式来进行词向量的构建是一个不好的方式。

独热向量很容易构建，但它们通常不是一个好的选择。一个主要原因是独热向量不能准确表达不同词之间的相似度，比如我们经常使用的"余弦相似度"
由于任意两个不同词的独热向量之间的余弦相似度为0，所以独热向量不能编码词之间的相似性。

x ⊤ y ∥ x ∥ ∥ y ∥ ∈ [ − 1 , 1 ] . \frac{\mathbf{x}^{\top} \mathbf{y}}{\|\mathbf{x}\|\|\mathbf{y}\|} \in[-1,1] . ∥x∥∥y∥x⊤y∈[−1,1].

我们通过词嵌入的技术可以将onehot编码下的高维稀疏向量，转化为低维且连续的向量。

然后我们这一部分学习的就是常用的词嵌入算法 ------word2vec的技术。通过特定的词嵌入算法，如word2vec、fasttext、Glove等训练一个通用的嵌入矩阵

word2vec工具是为了解决上述问题而提出的。它将每个词映射到一个固定长度的向量，这些向量能更好地表达不同词之间的相似性和类比关系

嵌入矩阵的行，是语料库中词语的个数，矩阵的列是表示词语的维度

5000个单词每个单词都使用128维度的向量来进行表示。

主要包括了两个部分组成。训练依赖于条件概率

跳元模型（skip-gram）
连续词袋（CBOW）

跳元模型（Skip-Gram）

跳元模型假设一个词可以用来在文本序列中生成其周围的单词。以文本序列"the""man""loves""his""son"为例。假设中心词选择"loves"，并将上下文窗口设置为2。

给定中心词"loves"，跳元模型考虑生成上下文词"the""man""him""son"的条件概率：

P("the","man","his","son" | "loves"). \text { P("the","man","his","son" | "loves"). } P("the","man","his","son" | "loves").

假设上下文词是在给定中心词的情况下独立生成的（即条件独立性）。在这种情况下，上述条件概率可以重写为：

P ( "the" | "loves") ⋅ P ( "man" | "loves") ⋅ P ( "his" | "loves" ) ⋅ P ( "son" | "loves") P(\text { "the" | "loves") } \cdot P(\text { "man" | "loves") } \cdot P(\text { "his" | "loves" }) \cdot P(\text { "son" | "loves") } P( "the" | "loves") ⋅P( "man" | "loves") ⋅P( "his" | "loves" )⋅P( "son" | "loves")

也就是要设置好窗口的长度。设置好窗口的长度后，需要根据目标词，预测窗口内的上下文词：

在这里我们抛开公式来解释一下这一个跳元模型的建模的思想是什么？

也就是：Skip-gram在迭代时。

调整词向量使目标词的词向量与其上下文的词向量尽可能的接近。
使目标词的词向量与非上下文词的词向量尽可能的远离。

这里我们的建模的思想就是给定一个词向量，我们希望这样建模也就是：上下文词的词向量相似与非上下文词的词向量不相似。那么我们的词向量就能捕获词语之间的语义关系。

之后我们需要提出的问题就是，如何判断两个词向量是否相似呢？这里就是给定两个词向量，我们与Transform中一样使用点积来判断两个词向量之间的相似性。

A ⋅ B = a 1 b 1 + a 2 b 2 + ... + a n b n A = ( a 1 , a 2 , ... , a n ) B = ( b 1 , b 2 , ... , b n ) \begin{array}{l} A \cdot B=a 1 b 1+a 2 b 2+\ldots+a n b n \\ A=(a 1, a 2, \ldots, a n) \\ B=(b 1, b 2, \ldots, b n) \end{array} A⋅B=a1b1+a2b2+...+anbnA=(a1,a2,...,an)B=(b1,b2,...,bn)

向量的点积：衡量了两个向量在同一方向上的强度点积越大：两个向量越相似，它们对应的词语的语义就越接近。

跳元网络结构

Skip-Gram网络模型是一个神经网络。它主要是包括了

in_embedding和out_embedding两个嵌入层组成。
向该神经网络输入一个目标词之后。
模型会返回一个词表大小的分布情况。

词汇表中的每个词是目标词的上下文的可能性

词表中的词，与目标词有两种关系上下文词：正样本，标记为1非上下文词：负样本，标记为0

给定中心词w（词典中的索引lc），生成任何上下文词w。（词典中的索引lo）的条件概率可以通过对向量点积的softmax操作来建模：

P ( w o ∣ w c ) = exp ⁡ ( u o ⊤ v c ) ∑ i ∈ V exp ⁡ ( u i ⊤ v c ) P\left(w_{o} \mid w_{c}\right)=\frac{\exp \left(\mathbf{u}{o}^{\top} \mathbf{v}{c}\right)}{\sum_{i \in \mathcal{V}} \exp \left(\mathbf{u}{i}^{\top} \mathbf{v}{c}\right)} P(wo∣wc)=∑i∈Vexp(ui⊤vc)exp(uo⊤vc)

整体的模型得到的词表概率分布的公式如下所示：

∏ t = 1 T ∏ − m ≤ j ≤ m , j ≠ 0 P ( w ( t + j ) ∣ w ( t ) ) \prod_{t=1}^{T} \prod_{-m \leq j \leq m, j \neq 0} P\left(w^{(t+j)} \mid w^{(t)}\right) t=1∏T−m≤j≤m,j=0∏P(w(t+j)∣w(t))

网络训练

跳元模型参数是词表中每个词的中心词向量和上下文词向量。在训练中，我们通过最大化似然函数（即极大似然估计）来学习模型参数。这相当于最小化以下损失函数：

指定窗口长度为m，同时词向量的长度为T

− ∑ t = 1 T ∑ − m ≤ j ≤ m , log ⁡ P ( w ( t + j ) ∣ w ( t ) ) -\sum_{t=1}^{T} \sum_{-m \leq j \leq m,} \log P\left(w^{(t+j)} \mid w^{(t)}\right) −t=1∑T−m≤j≤m,∑logP(w(t+j)∣w(t))

这里就可以使用随机梯度下降来最小化损失函数的值。

连续词袋（CBOW）模型

CBOW连续词袋模型 Continuous Bag of Words与刚刚说过的跳元模型相比是一个相反的过程了。

假设将我们的窗口长度设置为2以后，就有如下的推导关系了。

连续词袋模型假设中心词是基于其在文本序列中的周围上下文词生成的。例如，在文本序列"the""man""loves""his""son"中，在"loves"为中心词且上下文窗口为2的情况下，连续词袋模型考虑基于上下文词"the""man""him""son"

P ( "loves" | "the","man","his","son"). P(\text { "loves" | "the","man","his","son"). } P( "loves" | "the","man","his","son").

CBOW的网络结构

我们按照这个顺序继续向下推导直到整个句子推导结束的时候在停止。

CBOW模型同样也是一个神经网络模型，该神经网络会接收上下文词语将上下文词语转换为最有可能得目标词。

我们将这个网络模型在进一步的进行细化进行解释。我们将其中每一个部分的蓝色部分单独的拿出来其中蓝色的部分就是我们的嵌入矩阵，也就是之前提到的N x V的部分。其输出的结果就是一个词向量。

然后：由于某个词的上下文中，包括了多个词语这些词语会同时输入至embeddings层每个词语都会被转换为一个词向量。

embeddings层的输出结果：是一个将语义信息平均的向量V

v = ( v 1 + v 2 + v 3 + v 4 ) / 4 v=(v 1+v 2+v 3+v 4) / 4 v=(v1+v2+v3+v4)/4

最后一步我们将所有词向量得到的平均值输入到最后的线性层中，通过最后的激活函数就可以得到需要预测的词了。整个过程就可以如下所示。概率最大的词就是我们的输出结果了。

按照和上面同样的思想我们就可以采用如下的方式来进行数学上的建模操作。

P ( w c ∣ w o 1 , ... , w o 2 m ) = exp ⁡ ( 1 2 m u c ⊤ ( v o 1 + ... , + v o 2 m ) ) ∑ i ∈ V exp ⁡ ( 1 2 m u i ⊤ ( v o 1 + ... , + v o 2 m ) ) P\left(w_{c} \mid w_{o_{1}}, \ldots, w_{o_{2 m}}\right)=\frac{\exp \left(\frac{1}{2 m} \mathbf{u}{c}^{\top}\left(\mathbf{v}{o_{1}}+\ldots,+\mathbf{v}{o{2 m}}\right)\right)}{\sum_{i \in \mathcal{V}} \exp \left(\frac{1}{2 m} \mathbf{u}{i}^{\top}\left(\mathbf{v}{o_{1}}+\ldots,+\mathbf{v}{o{2 m}}\right)\right)} P(wc∣wo1,...,wo2m)=∑i∈Vexp(2m1ui⊤(vo1+...,+vo2m))exp(2m1uc⊤(vo1+...,+vo2m))

P ( w c ∣ W o ) = exp ⁡ ( u c ⊤ v ‾ o ) ∑ i ∈ V exp ⁡ ( u i ⊤ v ‾ o ) . P\left(w_{c} \mid \mathcal{W}{o}\right)=\frac{\exp \left(\mathbf{u}{c}^{\top} \overline{\mathbf{v}}{o}\right)}{\sum{i \in \mathcal{V}} \exp \left(\mathbf{u}{i}^{\top} \overline{\mathbf{v}}{o}\right)} . P(wc∣Wo)=∑i∈Vexp(ui⊤vo)exp(uc⊤vo).

BERT的由来

BERT的由来本质上来自于NLP领域迁移学习的思考。使用预训练好的模型来抽取词、句子的特征例如word2vec

最后我们就可以将整个的建模过程表示如下了：

∏ t = 1 T P ( w ( t ) ∣ w ( t − m ) , ... , w ( t − 1 ) , w ( t + 1 ) , ... , w ( t + m ) ) \prod_{t=1}^{T} P\left(w^{(t)} \mid w^{(t-m)}, \ldots, w^{(t-1)}, w^{(t+1)}, \ldots, w^{(t+m)}\right) t=1∏TP(w(t)∣w(t−m),...,w(t−1),w(t+1),...,w(t+m))

然而对于我们的一个新的任务来说需要构建新的网络来抓取新任务需要的信息Word2vec忽略了时序信息，语言模型只看了一个方向。

在CV方向上迁移学习有广泛的应用这里我自己举一个例子：例如在许多的网络中我们的backbone都使用的是预训练好的restnet50的权重，并且在网络训练的过程中会冻结这部分权重不需要在调整或者进行新的训练了。

同样NLP是否可以：基于微调的NLP模型预训练的模型抽取了足够多的信息新的任务只需要增加一个简单的输出层。

它就是一个只要Transform编码器的部分---只保留编码器的部分。它是第一个在NLP领域做的很大的网络，并且使用了很大的一个数据集，可以看作是大模型的一个前置的基础了

基础架构

BERT: 主要使用的是Transform的编码器的部分。也就是左半部分所以整个完整的结构理解起来还是挺容易的。

这里提到了是Transform的双向编码器的表示方式：也就是在自注意力机制中，每个词元都与其他所有词元计算注意力分数，这意味着每个词元在编码时都能获取到整个序列的信息。这种机制允许模型在编码时同时考虑前文和后文的信息，从而实现双向处理。
但是我们的Transform的Decode部分通常是单项的部分了，主要的原因是：在自然语言处理中，解码器通常用于生成文本，例如在机器翻译、文本摘要或问答系统中生成回答。在这些任务中，解码器需要根据已经生成的文本来预测下一个词元，而不能利用未来的信息。