SpanBert学习

SpanBERT: Improving Pre-training by Representing and Predicting Spans

核心点

1. 提出了更好的 Span Mask 方案，也再次展示了随机遮盖连续一段字要比随机遮盖掉分散字好；
2. 通过加入 Span Boundary Objective (SBO) 训练目标，增强了 BERT 的性能，特别在一些与 Span 相关的任务，如抽取式问答；
3. 用实验获得了和 XLNet 类似的结果，发现不加入 Next Sentence Prediction (NSP) 任务，直接用连续一长句训练效果更好。

整体结构

1.Span Masking，SM。根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。

2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。

将词向量和位置向量拼接起来，加两层全连接。使用Gelu函数，并使用正则化。

最后预测span中原值时计算新损失，即SBO目标的损失。将该损失与BERT的MLM损失加起来，一起训练模型。

3.NSP ，Next Sentence Prediction任务，SPanBert没有用NSP,使用Single-Sequence Traing。不加入NSP任务判断是否两句是上下句，直接用一句来训练。

训练细节

1. 训练时用了 Dynamic Masking 而不是像 BERT 在预处理时做 Mask；
2. 取消 BERT 中随机采样短句的策略；
3. 还有对 Adam 优化器中一些参数改变。

学习自 SpanBert：对 Bert 预训练的一次深度探索 - 知乎