节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。
合集在这里：《大模型面试宝典》(2024版) 正式发布！
可以将预训练的 BERT 假设为一个黑匣子，它为序列中的每个输入标记（单词）提供 H = 768 个形状的向量。BERT 本质上是由堆叠的编码器层组成。
Token Embeddings是通过索引一个30000x768矩阵得到的，权重在训练中学习；Segment Embeddings用于指示句子来源，全0或全1向量表示；Position Embeddings则用于指定单词在序列中的位置，是一个具有预设模式的常数矩阵。这些构成了BERT嵌入的重要组成部分。
BERT的工作原理
可以将预训练的 BERT 假设为一个黑匣子，它为序列中的每个输入标记（单词）提供 H = 768 个形状的向量。 这里，序列可以是单个句子或由分隔符 [SEP] 分隔并以标记 [CLS] 开头的一对句子。
BERT为输入句子中的所有单词得到一个 768 大小的向量。
BERT的本质
BERT 本质上是由堆叠的编码器层组成。
在论文中，作者尝试了两种模型：
-
BERT 基础：层数 L=12，隐藏层大小，H=768，自注意力头，A=12，总参数=110M
-
BERT Large：层数 L=24，隐藏层大小，H=1024，自注意力头，A=16，总参数=340M
BERT的Embedding流程
Token Embeddings是通过索引一个30000x768矩阵得到的，权重在训练中学习；Segment Embeddings用于指示句子来源，全0或全1向量表示；Position Embeddings则用于指定单词在序列中的位置，是一个具有预设模式的常数矩阵。这些构成了BERT嵌入的重要组成部分。
Token Embeddings
我们通过索引一个大小为30000x768（H）的矩阵来得到Token嵌入。在这里，30000是wordpiece分词后的词汇表长度。这个矩阵的权重将在训练过程中学习得到。
Segment Embeddings
指定这个句子来自哪个段落。如果嵌入来自句子1，则这些都是长度为H的全0向量；如果嵌入来自句子2，则这些是一个全1向量。
Position Embeddings
这些嵌入用于指定单词在序列中的位置，这与我们在转换器（transformer）架构中所做的相同。因此，我们本质上有一个具有一些预设模式的常数矩阵。这个矩阵的列数为768。这个矩阵的第一行是标记[CLS]的嵌入，第二行是单词"my"的嵌入，第三行是单词"dog"的嵌入，以此类推。
预训练掩码语言模型
通过尝试不同的训练模型并找出各自的缺陷，来逐步解释模型架构，并最终了解BERT的工作原理。
预测所有单词
BERT 预训练掩码语言模型设置如下：
结果：预测所有单词。
问题：学习任务很琐碎。
原因：网络事先知道它要预测什么，因此可以轻松学习权重以达到 100% 的分类准确度。
仅预测被掩码的单词
在每个训练输入序列中屏蔽 15% 的随机单词，并仅预测这些单词的输出。
结果：仅预测被掩码的单词。
现在模型学会了预测它未见过的单词，同时看到了这些单词周围的所有上下文。在这个示例中，我们掩码了3个单词，而实际上应该只掩码1个单词，因为8的15%是1。
问题：这个模型基本上学会了只针对[MASK]标记预测出好的概率。 也就是说，在预测时间或微调时间，当模型没有收到[MASK]作为输入时，它无法预测出好的上下文嵌入。
预测被掩码的单词和随机单词
在这次尝试中，仍然会屏蔽 15% 的仓位。但将用一些随机单词替换 20% 的屏蔽标记中的任何单词。这样做是想让模型知道当单词不是 [MASK] 标记时我们仍然需要一些输出。
因此，如果有一个长度为 500 的序列，将屏蔽 75 个标记（500 个标记的 15%），在这 75 个标记中，15 个标记（75 个标记的 20%）将被随机单词替换。如图所示，这里用随机单词替换了一些掩码。
结果：预测被掩码的单词和随机单词。
优势：现在网络仍然可以处理任何单词。
问题：网络学会了输入单词永远不会等于输出单词。也就是说，在"随机单词"位置上的输出向量永远不会是"随机单词"。
预测被掩码的单词、随机单词和非掩码单词
训练数据生成器会随机选择15%的标记位置进行预测。如果选择了第i个标记，我们会用以下方式替换它：(1) 80%的时间用[MASK]标记替换第i个标记 (2) 10%的时间用一个随机标记替换第i个标记 (3) 10%的时间第i个标记保持不变。
因此，如果我们有一个长度为500的序列，我们会掩码75个标记（500的15%），在这75个标记中，有7个标记（75的10%）会被随机词替换，有7个标记（75的10%）将保持不变。从图像上看，我们会用随机词替换一些掩码，并用实际词替换一些掩码。
结果：预测被掩码的单词、随机单词和非掩码单词。
因此，现在我们有了最佳的设置，模型不会学习任何不良的模式。
但是，如果我们只保留掩码+非掩码的设置呢？模型会学到每当单词出现时，就预测那个单词。
总结
本文重点讨论了预训练掩码语言模型的不同训练策略，包括预测所有单词、仅预测被掩码的单词、预测被掩码的单词和随机单词以及预测被掩码的单词、随机单词和非掩码单词。通过这些不同的训练策略，BERT能够学习到更加丰富的语言表示，提高模型的泛化能力。