全文 - Improving Language Understanding by Generative Pre-Training

通过生成式预训练改进语言理解能力

原文

摘要

自然语言理解涵盖多种多样的任务，例如文本蕴含、问答、语义相似度评估以及文档分类。尽管大规模无标注文本语料库非常丰富，但用于学习这些特定任务的有标注数据却很稀缺，这使得经过判别式训练的模型难以取得令人满意的表现。我们证明，通过在多样化的无标注文本语料库上对语言模型进行生成式预训练，再针对每个具体任务进行判别式微调，可以在这些任务上取得显著提升。与以往的方法不同，我们在微调过程中使用了任务感知的输入变换，从而在只需对模型架构进行最小改动的情况下实现有效的迁移。我们在一系列自然语言理解基准测试上验证了该方法的有效性。我们这种通用的、与任务无关的模型超越了那些为每个任务专门设计架构的判别式训练模型，在研究的 12 项任务中有 9 项显著提升了当前最优水平。例如，我们在常识推理（Stories Cloze Test）上取得了 8.9% 的绝对提升，在问答（RACE）上提升了 5.7%，在文本蕴含（MultiNLI）上提升了 1.5%。

1 引言

有效地从原始文本中学习的能力，对于缓解自然语言处理（NLP）对监督学习的依赖至关重要。大多数深度学习方法都需要大量人工标注数据，这限制了它们在许多缺乏标注资源的领域中的应用 61。在这些情况下，能够利用无标注数据中语言信息的模型，为收集更多标注数据提供了一种有价值的替代方案，因为收集标注数据既耗时又昂贵。此外，即使在拥有大量监督数据的情况下，以无监督方式学习良好的表示也能够显著提升性能。迄今为止，最有力的证据是预训练词嵌入 10, 39, 42 已被广泛用于提升一系列 NLP 任务的性能 8, 11, 26, 45。

然而，从无标注文本中利用超出词级别的信息面临着两个主要挑战。首先，目前尚不清楚何种优化目标最有利于学习可用于迁移的文本表示。近期研究考察了多种目标，例如语言建模 44、机器翻译 38 和语篇连贯性 22，每种方法在不同任务上互有优劣。其次，对于这些学习到的表示如何迁移到目标任务，目前尚无共识。现有技术包括结合对模型架构进行任务特定的修改 43, 44、使用复杂的学习方案 21 以及添加辅助学习目标 50。这些不确定性使得为语言处理开发有效的半监督学习方法变得困难。

在本文中，我们探索了一种结合无监督预训练与监督微调的半监督学习方法，用于语言理解任务。我们的目标是学习一种通用表示，能够以极小的适应代价迁移到广泛的任务上。我们假设可以访问大规模无标注文本语料库，以及多个带有手动标注训练样本的数据集（目标任务）。我们的设置不要求这些目标任务与无标注语料库处于同一领域。我们采用两阶段训练流程。首先，我们在无标注数据上使用语言建模目标来学习神经网络模型的初始参数。随后，我们使用相应的监督目标将这些参数适配到目标任务上。

在模型架构方面，我们使用 Transformer 62，该架构已在机器翻译 62、文档生成 34 和句法分析 29 等任务上展现出强大性能。与循环网络等替代方案相比，这一模型选择为我们提供了更加结构化的记忆，以处理文本中的长期依赖关系，从而在不同任务上实现稳健的迁移性能。在迁移过程中，我们利用源自遍历式方法 52 的任务特定输入适配，将结构化文本输入作为单个连续的词元序列进行处理。正如我们在实验中所展示的，这些适配使我们能够以最小的预训练模型架构改动进行有效微调。

我们在四种类型的语言理解任务上评估了我们的方法------自然语言推理、问答、语义相似度和文本分类。我们这种通用的、与任务无关的模型超越了那些为每个任务专门设计架构的判别式训练模型，在研究的 12 项任务中有 9 项显著提升了当前最优水平。例如，我们在常识推理（Stories Cloze Test）40 上取得了 8.9% 的绝对提升，在问答（RACE）30 上提升了 5.7%，在文本蕴含（MultiNLI）66 上提升了 1.5%，在近期提出的 GLUE 多任务基准 64 上提升了 5.5%。我们还分析了预训练模型在四种不同设置下的零样本行为，并证明它获取了对下游任务有用的语言知识。

2 相关工作

2.1 NLP 中的半监督学习

我们的工作广义上属于自然语言处理中的半监督学习范畴。这一范式引起了广泛关注，并已应用于序列标注 24, 33, 57 或文本分类 41, 70 等任务。最早的方法使用无标注数据计算词级或短语级统计信息，然后将其作为特征用于监督模型 33。在过去几年中，研究人员证明了使用在无标注语料库上训练得到的词嵌入 11, 39, 42 可以提升多种任务的性能 8, 11, 26, 45。然而，这些方法主要迁移词级信息，而我们的目标是捕捉更高层次的语义。

近期研究开始探索从无标注数据中学习并利用超出词级别的语义。短语级或句子级嵌入可以使用无标注语料库进行训练，并用于将文本编码为适合各种目标任务的向量表示 28, 32, 1, 36, 22, 12, 56, 31。

2.2 无监督预训练

无监督预训练是半监督学习的一种特例，其目标是找到良好的初始化点，而非修改监督学习目标。早期工作探索了该技术在图像分类 20, 49, 63 和回归任务 3 中的应用。后续研究 15 证明，预训练起到一种正则化方案的作用，能够提升深度神经网络的泛化能力。在近期的研究中，该方法已被用于帮助训练各种任务上的深度神经网络，包括图像分类 69、语音识别 68、实体消歧 17 和机器翻译 48。

与我们的工作最相关的一系列研究涉及使用语言建模目标预训练神经网络，然后在有监督的目标任务上对其进行微调。Dai 等人 13 以及 Howard 和 Ruder 21 遵循这一方法来改进文本分类。然而，尽管预训练阶段有助于捕捉一些语言信息，但他们对 LSTM 模型的使用限制了其预测能力，使其只能覆盖较短范围。相比之下，我们选择 Transformer 网络，使我们能够捕捉更长距离的语言结构，正如实验中所展示的那样。此外，我们还在更广泛的任务上证明了模型的有效性，包括自然语言推理、释义检测和故事补全。其他方法 43, 44, 38 使用来自预训练语言模型或机器翻译模型的隐层表示作为辅助特征，来训练目标任务的监督模型。这涉及为每个单独的目标任务引入大量新参数，而我们在迁移过程中只需对模型架构进行最小改动。

2.3 辅助训练目标

添加辅助无监督训练目标是半监督学习的另一种形式。Collobert 和 Weston 10 的早期工作使用了广泛的辅助 NLP 任务，如词性标注、分块、命名实体识别和语言建模，以提升语义角色标注的性能。更近一些，Rei 50 在目标任务目标中添加了辅助语言建模目标，并证明了序列标注任务上的性能提升。我们的实验也使用了辅助目标，但正如我们所展示的，无监督预训练已经学习了与目标任务相关的多个语言层面。

3 框架

我们的训练流程包含两个阶段。第一阶段是在大规模文本语料库上学习一个高容量的语言模型。随后是微调阶段，在该阶段中我们使用有标注数据将模型适配到判别式任务上。

3.1 无监督预训练

给定一个无标注的词元语料库 U = { u 1 , ... , u n } U = \{u_1, \dots, u_n\} U={u1,...,un}，我们使用标准的语言建模目标来最大化如下似然：

L 1 ( U ) = ∑ i log ⁡ P ( u i ∣ u i − k , ... , u i − 1 ; Θ ) L_1(U) = \sum_i \log P(u_i \mid u_{i-k}, \dots, u_{i-1}; \Theta) L1(U)=i∑logP(ui∣ui−k,...,ui−1;Θ)

其中 k k k 是上下文窗口大小，条件概率 P P P 使用参数为 Θ \Theta Θ 的神经网络建模。这些参数通过随机梯度下降 51 进行训练。

在实验中，我们使用多层 Transformer 解码器 34 作为语言模型，这是 Transformer 62 的一种变体。该模型对输入上下文词元应用多头自注意力操作，然后通过逐位置前馈层生成目标词元上的输出分布：

h 0 = U W e + W p h l = transformer_block ( h l − 1 ) ∀ i ∈ 1 , n P ( u ) = softmax ( h n W e T ) h_0 = U W_e + W_p \\ h_l = \text{transformer\block}(h{l-1}) \quad \forall i \in 1, n \\ P(u) = \text{softmax}(h_n W_e^T) h0=UWe+Wphl=transformer_block(hl−1)∀i∈1,nP(u)=softmax(hnWeT)

其中 U = ( u − k , ... , u − 1 ) U = (u_{-k}, \dots, u_{-1}) U=(u−k,...,u−1) 是词元的上下文向量， n n n 是层数， W e W_e We 是词元嵌入矩阵， W p W_p Wp 是位置嵌入矩阵。

3.2 监督微调

在使用公式 (1) 中的目标训练模型之后，我们将参数适配到有监督的目标任务上。我们假设有一个带标签的数据集 C C C，其中每个实例包含一个输入词元序列 x 1 , ... , x m x_1, \dots, x_m x1,...,xm 以及标签 y y y。输入通过我们的预训练模型，以获得最终 Transformer 块的激活 h l m h_l^m hlm，然后将其输入到一个新增的线性输出层中，该层参数为 W y W_y Wy，用于预测 y y y：

P ( y ∣ x 1 , ... , x m ) = softmax ( h l m W y ) P(y \mid x_1, \dots, x_m) = \text{softmax}(h_l^m W_y) P(y∣x1,...,xm)=softmax(hlmWy)

这给出了如下要最大化的目标：

L 2 ( C ) = ∑ ( x , y ) log ⁡ P ( y ∣ x 1 , ... , x m ) L_2(C) = \sum_{(x, y)} \log P(y \mid x_1, \dots, x_m) L2(C)=(x,y)∑logP(y∣x1,...,xm)

此外，我们发现将语言建模作为辅助目标加入微调中有助于学习：(a) 提升监督模型的泛化能力；(b) 加速收敛。这与先前的工作 50, 43 一致，他们也观察到使用这种辅助目标可以提升性能。具体而言，我们优化如下目标（权重为 λ \lambda λ）：

L 3 ( C ) = L 2 ( C ) + λ ⋅ L 1 ( C ) L_3(C) = L_2(C) + \lambda \cdot L_1(C) L3(C)=L2(C)+λ⋅L1(C)

总体而言，微调过程中我们唯一需要的额外参数是 W y W_y Wy，以及分隔符词元的嵌入（如下文第 3.3 节所述）。

3.3 任务特定的输入变换

对于某些任务，如文本分类，我们可以直接按照上述方式微调模型。对于其他一些任务，如问答或文本蕴含，其输入具有结构化的形式，例如有序句子对，或文档、问题、答案三元组。由于我们的预训练模型是在连续的文本序列上训练的，因此需要对其进行一些修改才能应用于这些任务。先前的工作提出在迁移表示之上学习目标特定的架构 44。这种方法重新引入了大量的任务特定定制，并且没有对这些额外的架构组件使用迁移学习。相反，我们采用遍历式方法 52，将结构化输入转换为预训练模型可以处理的有序序列。这些输入变换使我们能够避免在不同任务上对架构进行大量修改。我们在下文简要描述这些输入变换，图 1 提供了可视化说明。所有变换都包括添加随机初始化的起始和结束词元（[start]、[end]）。

文本蕴含 ：对于蕴含任务，我们将前提 p p p 和假设 h h h 的词元序列用分隔符词元（$）连接起来。

相似度 ：对于相似度任务，待比较的两个句子之间没有固有的顺序。为了反映这一点，我们将输入序列修改为包含两种可能的句子顺序（中间用分隔符隔开），并独立处理每种顺序以产生两个序列表示 h l m h_l^m hlm，在输入线性输出层之前将它们按元素相加。

问答与常识推理 ：对于这些任务，我们被给定一个上下文文档 z z z、一个问题 q q q 以及一组可能的答案 { a k } \{a_k\} {ak}。我们将文档上下文和问题与每个可能的答案连接起来，中间添加分隔符词元，得到 \[z; q; ; a_k]$。这些序列中的每一个都用我们的模型独立处理，然后通过 softmax 层进行归一化，以生成可能答案上的输出分布。

图 1：(左) 本工作中使用的 Transformer 架构和训练目标；(右) 针对不同任务进行微调时的输入变换。我们将所有结构化输入转换为词元序列，由预训练模型处理，然后接上一个线性层加 softmax 层。

4 实验

4.1 设置

无监督预训练：我们使用 BooksCorpus 数据集 71 来训练语言模型。该数据集包含超过 7,000 本来自多种题材（包括冒险、奇幻和爱情）的未出版图书。至关重要的是，它包含大量连续的文本片段，这使得生成模型能够学习基于长距离信息进行条件预测。另一个可选数据集是 1B Word Benchmark，它被类似方法 ELMo 44 所使用，规模大致相同，但以句子级别进行了打乱------破坏了长距离结构。我们的语言模型在该语料库上达到了非常低的词级困惑度 18.4。

模型规格 ：我们的模型在很大程度上遵循原始 Transformer 工作 62。我们训练了一个 12 层的仅解码器 Transformer，使用带掩码的自注意力头（768 维状态，12 个注意力头）。对于逐位置前馈网络，我们使用了 3,072 维的内部状态。我们采用 Adam 优化方案 27，最大学习率为 2.5e-4。学习率在前 2,000 次更新中线性增加，然后使用余弦调度退火至 0。我们在大小为 64 的小批量上训练 100 个轮次，每次随机采样 512 个连续词元的序列。由于层归一化 2 在模型中被广泛使用，简单的 N ( 0 , 0.02 ) N(0, 0.02) N(0,0.02) 权重初始化已经足够。我们使用了包含 40,000 次合并的字节对编码（BPE）词表 53，并将残差、嵌入和注意力 dropout 率设为 0.1 以进行正则化。我们还采用了文献 37 中提出的一种改进版 L2 正则化，对除偏置或增益权重外的所有权重使用 w = 0.01 w = 0.01 w=0.01。对于激活函数，我们使用了高斯误差线性单元（GELU）18。我们使用了可学习的位置嵌入，而非原始工作中提出的正弦版本。我们使用 ftfy 库来清理 BooksCorpus 中的原始文本，标准化部分标点符号和空白，并使用 spaCy 分词器。

微调细节 ：除非特别说明，我们复用无监督预训练中的超参数设置。我们在分类器上添加 dropout，比率为 0.1。对于大多数任务，我们使用 6.25e-5 的学习率和 32 的批量大小。我们的模型微调速度很快，大多数情况下 3 个训练轮次已经足够。我们使用线性学习率衰减调度，并在训练的 0.2% 上进行预热。 λ \lambda λ 设为 0.5。

4.2 监督微调

我们在多种监督任务上进行实验，包括自然语言推理、问答、语义相似度和文本分类。其中部分任务属于近期发布的 GLUE 多任务基准 64，我们也使用了该基准。图 1 概述了所有任务和数据集。

自然语言推理：自然语言推理（NLI）任务，也称为识别文本蕴含，涉及阅读一对句子并判断它们之间的关系是蕴含、矛盾还是中立。尽管近期受到广泛关注 58, 35, 44，但由于存在词汇蕴含、共指以及词汇和句法歧义等多种现象，该任务仍然具有挑战性。我们在五个来源多样的数据集上进行评估，包括图像标题（SNLI）、转录语音、通俗小说和政府报告（MNLI）、维基百科文章（QNLI）、科学考试题（SciTail）或新闻文章（RTE）。

表 2 详细列出了我们的模型与此前最先进方法在不同 NLI 任务上的结果。我们的方法在五个数据集中的四个上显著超越了基线，相比此前最佳结果，在 MNLI 上最高提升 1.5%，在 SciTail 上提升 5%，在 QNLI 上提升 5.8%，在 SNLI 上提升 0.6%。这证明了我们模型更好地对多个句子进行推理以及处理语言歧义方面的能力。在 RTE 上，这是我们评估的较小数据集之一（2,490 个样本），我们取得了 56% 的准确率，低于多任务 BiLSTM 模型报告的 61.7%。鉴于我们的方法在较大 NLI 数据集上的强劲表现，我们的模型很可能也会从多任务训练中受益，但我们目前尚未探索这一点。

表 1：我们实验中使用的不同任务和数据集列表。

任务	数据集
自然语言推理	SNLI 5, MultiNLI 66, Question NLI 64, RTE 4, SciTail 25
问答	RACE 30, Story Cloze 40
句子相似度	MSR Paraphrase Corpus 14, Quora Question Pairs 9, STS Benchmark 6
分类	Stanford Sentiment Treebank-2 54, CoLA 65

表 2：自然语言推理任务上的实验结果，将我们的模型与当前最先进方法进行比较。5x 表示 5 个模型的集成。所有数据集均使用准确率作为评估指标。

方法	MNLI-m	MNLI-mm	SNLI	SciTail	QNLI	RTE
ESIM + ELMo 44 (5x)	80.2	79.0	89.3	-	-	-
CAFE 58 (5x)	80.6	80.1	89.3	-	-	-
Stochastic Answer Network 35 (3x)	-	-	-	-	-	-
CAFE 58	78.7	77.9	88.5	83.3	-	-
GenSen 64	71.4	71.3	-	-	82.3	59.2
Multi-task BiLSTM + Attn 64	72.2	72.1	-	-	82.1	61.7
Finetuned Transformer LM (ours)	82.1	81.4	89.9	88.3	88.1	56.0

问答与常识推理：另一个需要单句和多句推理能力的任务是问答。我们使用近期发布的 RACE 数据集 30，它包含来自中学和高中考试的英语文章及相关问题。该语料库已被证明包含比其他数据集（如 CNN 19 或 SQuAD 47）更多的推理类问题，因此非常适合评估我们这种训练用于处理长距离上下文的模型。此外，我们还在 Story Cloze Test 40 上进行了评估，该任务涉及从两个选项中为多句故事选择正确的结尾。在这些任务上，我们的模型再次以显著优势超越了此前最佳结果------在 Story Cloze 上最高提升 8.9%，在 RACE 整体上提升 5.7%。这证明了我们模型有效处理长距离上下文的能力。

表 3：问答与常识推理任务上的结果，将我们的模型与当前最先进方法进行比较。9x 表示 9 个模型的集成。

方法	Story Cloze	RACE-m	RACE-h	RACE
val-LS-skip 55	76.5	-	-	-
Hidden Coherence Model 7	77.6	-	-	-
Dynamic Fusion Net 67 (9x)	-	55.6	49.4	51.2
BiAttention MRU 59 (9x)	-	60.2	50.3	53.3
Finetuned Transformer LM (ours)	86.5	62.9	57.4	59.0

语义相似度：语义相似度（或释义检测）任务涉及预测两个句子是否在语义上等价。其挑战在于识别概念的改写、理解否定以及处理句法歧义。我们使用三个数据集来完成这项任务------微软释义语料库（MRPC）14（来自新闻来源）、Quora 问题对（QQP）数据集 9 以及语义文本相似度基准（STS-B）6。我们在三个语义相似度任务中的两个上取得了最先进的结果（见表 4），在 STS-B 上取得了 1 个百分点的绝对提升。在 QQP 上的性能差距显著，相比 Single-task BiLSTM + ELMo + Attn 提升了 4.2%。

分类：最后，我们还在两个不同的文本分类任务上进行了评估。语言可接受性语料库（CoLA）65 包含专家判断一个句子是否合乎语法的标注，用于测试训练模型的内在语言偏置。另一方面，斯坦福情感树库（SST-2）54 是一个标准的二分类任务。我们的模型在 CoLA 上取得了 45.4 分，相比此前最佳结果 35.0 有特别大的提升，展示了我们模型学习到的内在语言偏置。该模型在 SST-2 上也达到了 91.3% 的准确率，与最先进结果相当。我们还在 GLUE 基准上取得了 72.8 的总体分数，显著优于此前最佳的 68.9。

表 4：语义相似度和分类结果，将我们的模型与当前最先进方法进行比较。本表中的所有任务评估均使用 GLUE 基准完成。（mc = Matthews 相关系数，acc = 准确率，pc = Pearson 相关系数）

方法	CoLA (mc)	SST-2 (acc)	MRPC (F1)	STS-B (pc)	QQP (F1)	GLUE 总体
Sparse byte mLSTM 16	-	93.2	-	-	-	-
TF-KLD 23	-	-	86.0	-	-	-
ECNU (mixed ensemble) 60	-	-	-	81.0	-	-
Single-task BiLSTM + ELMo + Attn 64	35.0	90.2	80.2	55.5	66.1	64.8
Multi-task BiLSTM + ELMo + Attn 64	18.9	91.6	83.5	72.8	63.3	68.9
Finetuned Transformer LM (ours)	45.4	91.3	82.3	82.0	70.3	72.8

总体而言，我们的方法在我们评估的 12 个数据集中的 9 个上取得了新的最先进结果，在许多情况下超越了集成模型。我们的结果还表明，我们的方法在不同规模的数据集上都表现良好，从较小的数据集（如 STS-B，约 5,700 个训练样本）到最大的数据集 SNLI（约 550,000 个训练样本）。

5 分析

迁移层数的影响：我们观察了从无监督预训练迁移不同层数到监督目标任务的影响。图 2（左）展示了我们的方法在 MultiNLI 和 RACE 上的性能随迁移层数变化的函数关系。我们观察到了标准结果：迁移嵌入可以提升性能，并且每一层 Transformer 都能带来进一步的收益，在 MultiNLI 上完整迁移可提升高达 9%。这表明预训练模型中的每一层都包含用于解决目标任务的有用功能。

图 2：(左) 从预训练语言模型迁移越来越多的层数对 RACE 和 MultiNLI 的影响；(右) 展示零样本性能随语言模型预训练更新次数演化的图。每个任务的性能被归一化在随机猜测基线和当前单模型最优水平之间。

零样本行为：我们希望更好地理解为什么对 Transformer 进行语言模型预训练是有效的。一个假设是，底层的生成模型为了提升其语言建模能力而学会执行我们评估的许多任务，并且 Transformer 更具结构化的注意力记忆有助于相比 LSTM 实现更好的迁移。我们设计了一系列启发式解决方案，利用底层生成模型在没有监督微调的情况下执行任务。我们在图 2（右）中可视化了这些启发式解决方案在生成式预训练过程中的有效性。我们观察到这些启发式方案的性能稳定且随着训练稳步提升，这表明生成式预训练支持学习多种多样的任务相关功能。我们还观察到 LSTM 的零样本性能具有更高的方差，这表明 Transformer 架构的归纳偏置有助于迁移。

对于 CoLA（语言可接受性），示例的评分依据是生成模型赋予的平均词元对数概率，并通过阈值进行预测。对于 SST-2（情感分析），我们在每个示例后附加词元 "very"，并将语言模型的输出分布限制为仅 "positive" 和 "negative" 两个词，将赋予更高概率的词元作为预测。对于 RACE（问答），我们选择生成模型在以文档和问题为条件时赋予最高平均词元对数概率的答案。对于 DPRD 46（Winograd 模式），我们将定代词替换为两个可能的指代对象，并预测替换后生成模型赋予剩余序列更高平均词元对数概率的指代解析。

消融研究：我们进行了三种不同的消融研究（见表 5）。首先，我们考察了在微调过程中不使用辅助语言模型目标时方法的性能。我们观察到辅助目标对 NLI 任务和 QQP 有帮助。总体而言，趋势表明较大的数据集受益于辅助目标，而较小的数据集则不然。其次，我们通过将 Transformer 与使用相同框架的单层 2048 单元 LSTM 进行比较，分析了 Transformer 的效果。我们观察到使用 LSTM 代替 Transformer 时平均分数下降了 5.6 分。LSTM 仅在一个数据集------MRPC 上超越了 Transformer。最后，我们还将我们的 Transformer 架构直接与在监督目标任务上训练、不进行预训练的版本进行了比较。我们观察到缺乏预训练会损害所有任务的性能，相比我们的完整模型平均下降 14.8%。

表 5：不同任务上各种模型消融分析。平均分数是所有结果的未加权平均值。（mc = Matthews 相关系数，acc = 准确率，pc = Pearson 相关系数）

方法	平均分数	CoLA (mc)	SST-2 (acc)	MRPC (F1)	STS-B (pc)	QQP (F1)	MNLI (acc)	QNLI (acc)	RTE (acc)
Transformer w/ aux LM (full)	74.7	45.4	91.3	82.3	82.0	70.3	81.8	88.1	56.0
Transformer w/o pre-training	59.9	18.9	84.0	79.4	30.9	65.5	75.7	71.2	53.8
Transformer w/o aux LM	75.0	47.9	92.0	84.9	83.2	69.8	81.1	86.9	54.4
LSTM w/ aux LM	69.1	30.3	90.5	83.2	71.8	68.1	73.7	81.1	54.6

6 结论

我们提出了一种框架，通过生成式预训练和判别式微调，使用单个与任务无关的模型实现强大的自然语言理解能力。通过在大规模连续文本语料库上进行预训练，我们的模型获取了丰富的世界知识和处理长距离依赖的能力，这些能力成功地迁移到解决判别式任务上，如问答、语义相似度评估、蕴含判定和文本分类，在我们研究的 12 个数据集中的 9 个上提升了当前最优水平。使用无监督（预）训练来提升判别式任务的性能长期以来一直是机器学习研究的重要目标。我们的工作表明，实现显著的性能提升确实是可能的，并为哪些模型（Transformer）和数据集（具有长距离依赖的文本）最适合这种方法提供了线索。我们希望这将有助于推动无监督学习在自然语言理解及其他领域的新研究，进一步提升我们对无监督学习如何以及何时起作用的理解。

参考文献

1 S. Arora, Y. Liang, and T. Ma. 一个简单但难以击败的句子嵌入基线方法（A simple but tough-to-beat baseline for sentence embeddings）。2016.

2 J. L. Ba, J. R. Kiros, and G. E. Hinton. 层归一化（Layer normalization）。arXiv preprint arXiv:1607.06450, 2016.

3 Y. Bengio, P. Lamblin, D. Popovici, and H. Larochelle. 深度网络的贪婪逐层训练（Greedy layer-wise training of deep networks）。Advances in neural information processing systems, pages 153--160, 2007.

4 L. Bentivogli, P. Clark, I. Dagan, and D. Giampiccolo. 第五届 Pascal 识别文本蕴含挑战赛（The fifth pascal recognizing textual entailment challenge）。TAC, 2009.

5 S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. 一个用于学习自然语言推理的大规模标注语料库（A large annotated corpus for learning natural language inference）。EMNLP, 2015.

6 D. Cer, M. Diab, E. Agirre, I. Lopez-Gazpio, and L. Specia. SemEval-2017 任务 1：语义文本相似度------多语言与跨语言聚焦评估（Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation）。arXiv preprint arXiv:1708.00055, 2017.

7 S. Chaturvedi, H. Peng, and D. Roth. 用于预测下一步发生何事的故事理解（Story comprehension for predicting what happens next）。2017 年自然语言处理实证方法会议论文集，pages 1603--1614, 2017.

8 D. Chen and C. Manning. 一种使用神经网络的快速准确依存句法分析器（A fast and accurate dependency parser using neural networks）。2014 年自然语言处理实证方法会议论文集，pages 740--750, 2014.

9 Z. Chen, H. Zhang, X. Zhang, and L. Zhao. Quora 问题对（Quora question pairs）。https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs, 2018.

10 R. Collobert and J. Weston. 自然语言处理的统一架构：带多任务学习的深度神经网络（A unified architecture for natural language processing: Deep neural networks with multitask learning）。第 25 届国际机器学习会议论文集，pages 160--167. ACM, 2008.

11 R. Collobert, J. Weston, L. Bottou, M. Karlen, K. Kavukcuoglu, and P. Kuksa. 近乎从零开始的自然语言处理（Natural language processing (almost) from scratch）。Journal of Machine Learning Research, 12(Aug):2493--2537, 2011.

12 A. Conneau, D. Kiela, H. Schwenk, L. Barrault, and A. Bordes. 从自然语言推理数据中进行通用句子表示的监督学习（Supervised learning of universal sentence representations from natural language inference data）。EMNLP, 2017.

13 A. M. Dai and Q. V. Le. 半监督序列学习（Semi-supervised sequence learning）。Advances in Neural Information Processing Systems, pages 3079--3087, 2015.

14 W. B. Dolan and C. Brockett. 自动构建句子级释义语料库（Automatically constructing a corpus of sentential paraphrases）。第三届国际释义研讨会论文集（IWP2005）, 2005.

15 D. Erhan, Y. Bengio, A. Courville, P.-A. Manzagol, P. Vincent, and S. Bengio. 为什么无监督预训练有助于深度学习？（Why does unsupervised pre-training help deep learning?）Journal of Machine Learning Research, 11(Feb):625--660, 2010.

16 S. Gray, A. Radford, and K. P. Diederik. 用于块稀疏权重的 GPU 核函数（Gpu kernels for block-sparse weights）。2017.

17 Z. He, S. Liu, M. Li, M. Zhou, L. Zhang, and H. Wang. 用于实体消歧的实体表示学习（Learning entity representation for entity disambiguation）。第 51 届计算语言学协会年会论文集（第 2 卷：短文）, volume 2, pages 30--34, 2013.

18 D. Hendrycks and K. Gimpel. 用高斯误差线性单元桥接非线性与随机正则化器（Bridging nonlinearities and stochastic regularizers with gaussian error linear units）。arXiv preprint arXiv:1606.08415, 2016.

19 K. M. Hermann, T. Kocisky, E. Grefenstette, L. Espeholt, W. Kay, M. Suleyman, and P. Blunsom. 教机器阅读和理解（Teaching machines to read and comprehend）。Advances in Neural Information Processing Systems, pages 1693--1701, 2015.

20 G. E. Hinton, S. Osindero, and Y.-W. Teh. 深度置信网络的快速学习算法（A fast learning algorithm for deep belief nets）。Neural computation, 18(7):1527--1554, 2006.

21 J. Howard and S. Ruder. 用于文本分类的通用语言模型微调（Universal language model fine-tuning for text classification）。计算语言学协会（ACL）, 2018.

22 Y. Jernite, S. R. Bowman, and D. Sontag. 用于快速无监督句子表示学习的基于语篇的目标（Discourse-based objectives for fast unsupervised sentence representation learning）。arXiv preprint arXiv:1705.00557, 2017.

23 Y. Ji and J. Eisenstein. 判别式改进分布式句子相似度（Discriminative improvements to distributional sentence similarity）。2013 年自然语言处理实证方法会议论文集，pages 891--896, 2013.

24 F. Jiao, S. Wang, C.-H. Lee, R. Greiner, and D. Schuurmans. 用于改进序列分割与标注的半监督条件随机场（Semi-supervised conditional random fields for improved sequence segmentation and labeling）。第 21 届国际计算语言学会议暨第 44 届计算语言学协会年会论文集，pages 209--216. 计算语言学协会，2006.

25 T. Khot, A. Sabharwal, and P. Clark. SciTail：来自科学问答的文本蕴含数据集（Scitail: A textual entailment dataset from science question answering）。AAAI 会议论文集，2018.

26 Y. Kim. 用于句子分类的卷积神经网络（Convolutional neural networks for sentence classification）。EMNLP, 2014.

27 D. P. Kingma and J. Ba. Adam：一种随机优化方法（Adam: A method for stochastic optimization）。arXiv preprint arXiv:1412.6980, 2014.

28 R. Kiros, Y. Zhu, R. R. Salakhutdinov, R. Zemel, R. Urtasun, A. Torralba, and S. Fidler. Skip-thought 向量（Skip-thought vectors）。Advances in neural information processing systems, pages 3294--3302, 2015.

29 N. Kitaev and D. Klein. 使用自注意力编码器的成分句法分析（Constituency parsing with a self-attentive encoder）。ACL, 2018.

30 G. Lai, Q. Xie, H. Liu, Y. Yang, and E. Hovy. RACE：来自考试的大规模阅读理解数据集（Race: Large-scale reading comprehension dataset from examinations）。EMNLP, 2017.

31 G. Lample, L. Denoyer, and M. Ranzato. 仅使用单语语料库的无监督机器翻译（Unsupervised machine translation using monolingual corpora only）。ICLR, 2018.

32 Q. Le and T. Mikolov. 句子和文档的分布式表示（Distributed representations of sentences and documents）。国际机器学习会议论文集，pages 1188--1196, 2014.

33 P. Liang. 自然语言中的半监督学习（Semi-supervised learning for natural language）。博士学位论文，麻省理工学院，2005.

34 P. J. Liu, M. Saleh, E. Pot, B. Goodrich, R. Sepassi, L. Kaiser, and N. Shazeer. 通过总结长序列生成维基百科（Generating wikipedia by summarizing long sequences）。ICLR, 2018.

35 X. Liu, K. Duh, and J. Gao. 用于自然语言推理的随机回答网络（Stochastic answer networks for natural language inference）。arXiv preprint arXiv:1804.07888, 2018.

36 L. Logeswaran and H. Lee. 一种高效的句子表示学习框架（An efficient framework for learning sentence representations）。ICLR, 2018.

37 I. Loshchilov and F. Hutter. 修复 Adam 中的权重衰减正则化（Fixing weight decay regularization in adam）。arXiv preprint arXiv:1711.05101, 2017.

38 B. McCann, J. Bradbury, C. Xiong, and R. Socher. 在翻译中学习：上下文词向量（Learned in translation: Contextualized word vectors）。Advances in Neural Information Processing Systems, pages 6297--6308, 2017.

39 T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean. 词和短语的分布式表示及其组合性（Distributed representations of words and phrases and their compositionality）。Advances in neural information processing systems, pages 3111--3119, 2013.

40 N. Mostafazadeh, M. Roth, A. Louis, N. Chambers, and J. Allen. LSDSem 2017 共享任务：故事完形测试（Lsdsem 2017 shared task: The story cloze test）。第 2 届词汇、句子和语篇层面语义模型关联研讨会论文集，pages 46--51, 2017.

41 K. Nigam, A. McCallum, and T. Mitchell. 使用 EM 算法的半监督文本分类（Semi-supervised text classification using em）。Semi-Supervised Learning, pages 33--56, 2006.

42 J. Pennington, R. Socher, and C. Manning. GloVe：用于词表示的全局向量（Glove: Global vectors for word representation）。2014 年自然语言处理实证方法会议论文集，pages 1532--1543, 2014.

43 M. E. Peters, W. Ammar, C. Bhagavatula, and R. Power. 使用双向语言模型的半监督序列标注（Semi-supervised sequence tagging with bidirectional language models）。ACL, 2017.

44 M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, C. Clark, K. Lee, and L. Zettlemoyer. 深度上下文词表示（Deep contextualized word representations）。NAACL, 2018.

45 Y. Qi, D. S. Sachan, M. Felix, S. J. Padmanabhan, and G. Neubig. 预训练词嵌入何时以及为何对神经机器翻译有用？（When and why are pre-trained word embeddings useful for neural machine translation?）NAACL, 2018.

46 A. Rahman and V. Ng. 解决定代词的复杂案例：Winograd 模式挑战（Resolving complex cases of definite pronouns: the winograd schema challenge）。2012 年自然语言处理实证方法会议暨计算自然语言学习联合会议论文集，pages 777--789. 计算语言学协会，2012.

47 P. Rajpurkar, J. Zhang, K. Lopyrev, and P. Liang. SQuAD：用于文本机器理解的 100,000+ 问题（Squad: 100,000+ questions for machine comprehension of text）。EMNLP, 2016.

48 P. Ramachandran, P. J. Liu, and Q. V. Le. 用于序列到序列学习的无监督预训练（Unsupervised pretraining for sequence to sequence learning）。arXiv preprint arXiv:1611.02683, 2016.

49 M. Ranzato, C. Poultney, S. Chopra, and Y. LeCun. 用基于能量的模型高效学习稀疏表示（Efficient learning of sparse representations with an energy-based model）。Advances in neural information processing systems, pages 1137--1144, 2007.

50 M. Rei. 用于序列标注的半监督多任务学习（Semi-supervised multitask learning for sequence labeling）。ACL, 2017.

51 H. Robbins and S. Monro. 一种随机逼近方法（A stochastic approximation method）。The annals of mathematical statistics, pages 400--407, 1951.

52 T. Rocktäschel, E. Grefenstette, K. M. Hermann, T. Kocisky, and P. Blunsom. 用神经注意力进行蕴含推理（Reasoning about entailment with neural attention）。arXiv preprint arXiv:1509.06664, 2015.

53 R. Sennrich, B. Haddow, and A. Birch. 使用子词单元进行罕见词的神经机器翻译（Neural machine translation of rare words with subword units）。arXiv preprint arXiv:1508.07909, 2015.

54 R. Socher, A. Perelygin, J. Wu, J. Chuang, C. D. Manning, A. Ng, and C. Potts. 用于情感树库上语义组合性的递归深度模型（Recursive deep models for semantic compositionality over a sentiment treebank）。2013 年自然语言处理实证方法会议论文集，pages 1631--1642, 2013.

55 S. Srinivasan, R. Arora, and M. Riedl. 一种简单有效的故事完形测试方法（A simple and effective approach to the story cloze test）。arXiv preprint arXiv:1803.05547, 2018.

56 S. Subramanian, A. Trischler, Y. Bengio, and C. J. Pal. 通过大规模多任务学习学习通用分布式句子表示（Learning general purpose distributed sentence representations via large scale multi-task learning）。arXiv preprint arXiv:1804.00079, 2018.

57 J. Suzuki and H. Isozaki. 使用十亿词规模无标注数据的半监督序列标注与切分（Semi-supervised sequential labeling and segmentation using giga-word scale unlabeled data）。ACL-08: HLT 论文集，pages 665--673, 2008.

58 Y. Tay, L. A. Tuan, and S. C. Hui. 一种用于自然语言推理的带对齐分解的比较-传播架构（A compare-propagate architecture with alignment factorization for natural language inference）。arXiv preprint arXiv:1801.00102, 2017.

59 Y. Tay, L. A. Tuan, and S. C. Hui. 机器理解的多范围推理（Multi-range reasoning for machine comprehension）。arXiv preprint arXiv:1803.09074, 2018.

60 J. Tian, Z. Zhou, M. Lan, and Y. Wu. ECNU 在 SemEval-2017 任务 1：利用基于核的传统 NLP 特征和神经网络构建用于多语言和跨语言语义文本相似度的通用模型（Ecnu at semeval-2017 task 1: Leverage kernel-based traditional nlp features and neural networks to build a universal model for multilingual and cross-lingual semantic textual similarity）。第 11 届语义评估国际研讨会论文集（SemEval-2017）, pages 191--197, 2017.

61 Y. Tsvetkov. 低资源语言研究中的机遇与挑战（Opportunities and challenges in working with low-resource languages）。CMU, 2017.

62 A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin. 注意力即你所需（Attention is all you need）。Advances in Neural Information Processing Systems, pages 6000--6010, 2017.

63 P. Vincent, H. Larochelle, Y. Bengio, and P.-A. Manzagol. 用去噪自编码器提取并组合稳健特征（Extracting and composing robust features with denoising autoencoders）。第 25 届国际机器学习会议论文集，pages 1096--1103. ACM, 2008.

64 A. Wang, A. Singh, J. Michael, F. Hill, O. Levy, and S. R. Bowman. GLUE：用于自然语言理解的多任务基准与分析平台（Glue: A multi-task benchmark and analysis platform for natural language understanding）。arXiv preprint arXiv:1804.07461, 2018.

65 A. Warstadt, A. Singh, and S. R. Bowman. 语言可接受性语料库（Corpus of linguistic acceptability）。http://nyu-mll.github.io/cola, 2018.

66 A. Williams, N. Nangia, and S. R. Bowman. 一个通过推理进行句子理解的广覆盖挑战语料库（A broad-coverage challenge corpus for sentence understanding through inference）。NAACL, 2018.

67 Y. Xu, J. Liu, J. Gao, Y. Shen, and X. Liu. 迈向人类水平的机器阅读理解：多策略推理与推断（Towards human-level machine reading comprehension: Reasoning and inference with multiple strategies）。arXiv preprint arXiv:1711.04964, 2017.

68 D. Yu, L. Deng, and G. Dahl. 预训练和微调在真实世界语音识别中上下文相关 DBN-HMM 的作用（Roles of pre-training and fine-tuning in context-dependent dbn-hmms for real-world speech recognition）。NIPS 深度学习与无监督特征学习研讨会论文集，2010.

69 R. Zhang, P. Isola, and A. A. Efros. 分裂脑自编码器：通过跨通道预测进行无监督学习（Split-brain autoencoders: Unsupervised learning by cross-channel prediction）。CVPR, volume 1, page 6, 2017.

70 X. Zhu. 半监督学习文献综述（Semi-supervised learning literature survey）。2005.

71 Y. Zhu, R. Kiros, R. Zemel, R. Salakhutdinov, R. Urtasun, A. Torralba, and S. Fidler. 对齐书籍与电影：通过观看电影和阅读书籍获得故事般的视觉解释（Aligning books and movies: Towards story-like visual explanations by watching movies and reading books）。IEEE 国际计算机视觉会议论文集，pages 19--27, 2015.