BERT架构简介

晓shuo2024-02-21 8:26

一、BERT模型架构

BERT沿用原始Transformer模型中的编码器层，具有编码器的堆叠。但BERT没有使用解码器层，因此没有掩码多头注意力子层。（BERT的设计者认为，对序列后续部分进行掩码会阻碍注意力过程）。于是，BERT引入了双向注意力机制 ，即一个注意力头从左到右，另一个注意力头从右到左注意所有单词。

图1 BERT模型架构

二、BERT模型训练

BERT的训练过程分为两项任务：掩码语言建模 （Masked Language Modeling，MLM）和下一句预测（Next Sentence Prediction， NSP）

2.1 掩码语言建模

BERT对句子进行双向分析，随机对句子中的某一个单词进行随机掩码。

复制代码

原句：The cat sat on it because it was a nice rug.
Transformer：The cat sat on it <masked sequence>.
BERT：The cat sat on it [MASK] it was a nice rug.

上述掩码过程只是一个注意力子层的效果，当使用多个注意力子层时，就可以看到整个序列，运行注意力过程，然后观测被掩码的词元。

2.2 下一句预测

在这个过程中会添加两个新的词元：

$CLS$ 词元：二分类词元，添加到第一个句子的开头，用于预测第二个句子是否跟随第一个句子。
$SEP$ 词元：分隔符词元，添加到每个句子的结尾，用于分隔不同的句子。

图2 输入嵌入过程

2.3 总结

使用WordPiece对句子进行词元化
使用 $MASK$ 词元随机替换句子中的单词
在序列的开头插入 $CLS$ 分类词元
在序列的两个句子结尾插入 $SEP$ 词元
句子嵌入是在词嵌入的基础上添加的，因此句子A和句子B具有不同的嵌入值
位置编码采用了可学习方法，而没有采用原始Transformer中的正弦-余弦位置编码方法

参考文献

$1$ 丹尼斯·罗斯曼.《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》 $M$ . 北京: 清华大学出版社, 2024