BERT的学习 - 技术栈

BERT

1.前言

self-supervised learning是一种无监督学习的特殊形式，算法从数据本身生成标签或者目标，然后利用这些生成的目标来进行学习。（也就是说数据集的标签是模型自动生成的，不是由人为提供的。）例如，可以通过在图像中遮挡一部分内容来创建自监督任务，让模型预测被遮挡的内容。self-supervised learning 应用十分广泛，不仅用于文字方面，还可以用于语音和图像上。

self-supervised Learning 自监督学习的一些模型如下：

ELMO（Embeddings from Language Models）---> 最原始的

BERT（Bidirectional Encoder Representations from Transformers）

ERNIE（Enhanced Representation through Knowledge Integration）

Big Bird（Transformers for Longer Sequences）

GPT-3 ---> 有 175 billion 个参数

2.BERT结构

BERT 是一个非常巨大的模型，有340 million 个参数。BERT的架构就是 Transformer 的 Encoder 部分（self-attention，residual，normalization）。

训练BERT有俩种方式：Masking Input 和 Next Sentence Prediction

1.Masking Input

BERT 的输入，某些部分被随机的盖住 ，盖住有两种方式（随机的选择一种盖住方式）：

MASK：将句中的一些符号换为MASK符号。（这个MASK是一个新的符号，字典中没有的，表示盖住）
Random：随机把某一个字换为另外一个字（随机从字典中挑选一个词盖住）。

输入通过BERT后就得到了对应的Sequence（但是只关注输入被盖住所输出的 vector），然后通过Linear transformer（Linear transformer的意思就是乘以一个矩阵），并进行Softmax，就可以得到一个有关所有符号的概率分布。在训练的时候，将真实值与预测出来的值进行对比，通过minimize cross entropy不断缩小损失，进而提升模型的ACU。

2.Next Sentence Prediction

从资料库里面随机选两个句子，在句子中间加入一个特殊符号 $SEP$ 来代表分割。在最前面加入一个特别的符号 $CLS$ 。将这个整体送入BERT中，在得到的sequence中只关注 $CLS$ 对应输出的vector。然后经过一个Linear transformer，来进行一个二元的预测（Yes or No），表示这两个句子是否是相连接的。