前言
- BERT:B idirectional E ncoder R epresentations from Transformer
- BERT是用来预训练Transformer模型的encoder的
- 本节课只讲述主要思想
- BERT用两个主要思想来训练Transformer的encoder网络:①随机遮挡单词,让encoder根据上下文来预测被遮挡的单词。②把两句话放在一起,让encoder判断是不是原文相邻的两句话
Randomly mask a word
- 随机遮挡一个单词,让神经网络来预测这个单词是什么:
- 我们把cat遮住后如下图所示:我们把原来的 x 2 x_2 x2 变为了 x M x_M xM,由前几节课transformer的原理可以知道:最后的输出不仅仅取决于 x 2 x_2 x2 或 x M x_M xM,而是包含整句话的信息,最后我们把 u M u_M uM 输入到 Softmax 后,期望其中的 cat 的概率是最大的
- 我们把被遮住的单词 cat 的one-hot向量称为 e e e, p p p 为上面 Softmax 输出的概率分布向量,那么我们要让 p p p 尽可能地接近 e e e,于是我们可以把它丢进交叉熵损失函数里面进行反向传播,梯度下降:
- BERT 不需要人为打标,可以自动遮住单词然后生成标签。因此可以拥有很多的数据,可以训练很大的模型
Predict the Next Sentence
- 给定随机的两句话,问这两句在文中是否是相邻的
- 其中输入时两句话,其中 [CLS] 时分类的标号,[SEP] 是分句的标号
- 该方法会在原来的文本随机选取句子,其中一半是相邻的,一半不是相邻的
- CLS符号在经过 Embedding 和 Transformer 的 Encoder 后会生成一个向量 c c c,其由一个二分类器来计算值,虽然由 attention 机制我们可以知道: c c c 还依赖于文中的其他信息,这样就能学到两句话的信息,这样我们就可以让 c c c 和标签做交叉熵损失,然后就能反向传播和梯度下降来训练。相邻两句话通常含有关联,这样训练就能让 Embedding 和 Encoder 学到这种关联信息。
Combining the two methods
- 把上面两个任务结合起来:这样就有多个标签
- 假设我们有两个单词被遮住了,那么就有三个任务,三个损失函数,那么最后的损失函数就是三个损失函数之和
- BERT 的优点在于不用人工标注数据,因为人工标注数据是非常昂贵的。而 BERT 可以自动生成标签,这是一个非常好的性质
- 缺点在于 BERT 的计算代价很大: