一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。
RoBERTa方法：
1、训练更长时间、数据集更大
2、移除NSP任务
3、在更长的序列上训练：We train only with full-length sequences.
4、动态mask
RoBERTa is trained with dynamic masking, FULL-SENTENCES without NSP loss, large mini-batches and a larger byte-level BPE.
BPE：
单词级和字符级混合表示。Byte-Pair Encoding (BPE) is a hybrid between character- and word-level representations.
BPE依赖于通过对训练语料库进行统计分析来提取的子词单元，而不是全词。
BPE词汇表的大小通常从10K-100K子字单元。Radford等介绍了BPE的一种巧妙实现，该实现使用字节而不是单代码字符作为基本子字单元。使用字节使学习一个中等大小（50千个单位）的子单词词汇成为可能，它仍然可以对任何输入文本进行编码，而不引入任何"未知"标记。
最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。这分别为BERTBASE和BERTLARGE增加了约15M和20M的额外参数。
二、RoBERTa预训练数据：
BOOKCORPUS plus English WIKIPEDIA.（16G，BERT used）
CC-NEWS collected from the English portion of the CommonCrawl News dataset（76GB after filtering）
OPENWEBTEXT（38G）
STORIES（31G）
三、RoBERTa下游任务微调数据
GLUE
SQuAD: V1.1 and V2.0
RACE