一、BERT模型架构
BERT沿用原始Transformer模型中的编码器层，具有编码器的堆叠。但BERT没有使用解码器层，因此没有掩码多头注意力子层。（BERT的设计者认为，对序列后续部分进行掩码会阻碍注意力过程）。于是，BERT引入了双向注意力机制 ，即一个注意力头从左到右，另一个注意力头从右到左注意所有单词。
图1 BERT模型架构
二、BERT模型训练
BERT的训练过程分为两项任务：掩码语言建模 （Masked Language Modeling，MLM）和下一句预测（Next Sentence Prediction， NSP）
2.1 掩码语言建模
BERT对句子进行双向分析，随机对句子中的某一个单词进行随机掩码。
原句：The cat sat on it because it was a nice rug.
Transformer：The cat sat on it <masked sequence>.
BERT：The cat sat on it [MASK] it was a nice rug.
上述掩码过程只是一个注意力子层的效果，当使用多个注意力子层时，就可以看到整个序列，运行注意力过程，然后观测被掩码的词元。
2.2 下一句预测
在这个过程中会添加两个新的词元：
-
[CLS]词元：二分类词元，添加到第一个句子的开头，用于预测第二个句子是否跟随第一个句子。
-
[SEP]词元：分隔符词元，添加到每个句子的结尾，用于分隔不同的句子。
图2 输入嵌入过程
2.3 总结
- 使用WordPiece对句子进行词元化
- 使用[MASK]词元随机替换句子中的单词
- 在序列的开头插入[CLS]分类词元
- 在序列的两个句子结尾插入[SEP]词元
- 句子嵌入是在词嵌入的基础上添加的，因此句子A和句子B具有不同的嵌入值
- 位置编码采用了可学习方法，而没有采用原始Transformer中的正弦-余弦位置编码方法
参考文献
[1] 丹尼斯·罗斯曼.《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》 [M]. 北京: 清华大学出版社, 2024