论文笔记：Pre-training to Match for Unified Low-shot Relation Extraction

论文来源：ACL 2022

论文地址：https://aclanthology.org/2022.acl-long.397.pdf

论文代码：https://github.com/fc-liu/MCMN

（笔记不易，请勿恶意转载抄袭！！！）

Abstract

Introduction

[Multi-Choice Matching Networks](#Multi-Choice Matching Networks)

[Multi-choice Prompt](#Multi-choice Prompt)

[Instance Encoder](#Instance Encoder)

[Multi-choice Matching and Prediction](#Multi-choice Matching and Prediction)

[Training Loss](#Training Loss)

[Training Strategies for Multi-Choice Matching Networks](#Training Strategies for Multi-Choice Matching Networks)

[Triplet-Paraphrase Construction](#Triplet-Paraphrase Construction)

[Triplet-Paraphrase Meta Pre-training](#Triplet-Paraphrase Meta Pre-training)

[Online Task Adaptation](#Online Task Adaptation)

Experiments

Abstract

Low-shot RE旨在识别样本很少甚至没有样本的新关系。本文提出多选择匹配网络来统一低样本关系抽取。为了填充零样本和小样本关系抽取之间的差距，提出了triplet-paraphrase元训练，利用triplet-paraphrase预训练零样本标签匹配能力，利用元学习范式学习少样本实例概括能力。

Introduction

零样本RE和少样本RE要求模型具备不同的基本能力：零样本RE建立在标签语义匹配能力之上，这要求模型充分利用给定新关系的标签语义，并基于其底层语义匹配关系和查询实例；少样本RE是建立在实例语义概括能力之上，这要求模型通过概括少样本实例的关键信息来快速推广到新的关系。由于零样本RE和少样本RE之间的根本差异，现有的模型都是单独学习来处理两种情况下的RE任务。

本文提出通过回归关系抽取的本质来统一低样本RE。从根本上讲，关系提取可以看做一个多项选择任务，给定上下文中的两个实体，RE系统需要从一组预定义的关系类别中匹配最合适的关系，或者others，即与上述关系均不匹配。其中，完成多项选择匹配所需的信息可以从关系类别名称或从少量实例中概括出来。

基于此，本文提出了多选择匹配网络MCMN来统一低样本RE。如下图所示，MCMN将所有候选关系描述转换为多选择提示，然后将输入实例与多选择实例链接起来，并通过预先训练的编码器来获取输入实例和候选关系的语义表示，最后通过直接匹配关系表示和实例表示进行关系抽取。

为了使MCMN同时具备标签语义匹配能力和实例语义概括能力，引入三triplet-paraphrase元预训练对MCMN进行预训练。其中，包括两个关键部分：

text-triple-text paraphrase模块：可以生成大规模伪关系抽取数据用来预训练MCMN的标签语义匹配能力；
一种元学习风格的训练算法，使MCMN具备实例语义概括能力，可以快速概括不同的关系提取任务。

具体而言，给定大规模原始文本，triplet-paraphrase首先通过OpenIE工具包抽取三元组，然后基于抽取的三元组使用RDF-to-text生成模型生成原始文本的paraphrases。这样，可以通过收集生成的句子和预测的三元组来获得大规模的伪标注数据。这样的语料库可以通过将paraphrases匹配到相应的预测，有效地预训练MCMN的标签语义匹配能力。此外，为了使MCMN具有实例语义概括能力，这种预训练是在元学习范式中进行的。也就是说，每次迭代都要求MCMN学习不同的关系抽取任务，MCMN就不能通过直接记忆特定的目标关系来过度匹配预训练语料库。

主要贡献：

提出MCMN，通过使用多选匹配范式从根本上实现关系抽取；
提出triplet-paraphrase元训练对MCMN进行预训练，使MCMN既具备了标签语义匹配能力，又具备了实例语义概括能力。

Multi-Choice Matching Networks

Multi-choice Prompt

从根本上说，关系提取器可以视为一个多项选择任务，通过直接链接所有关系名称或描述，为每个关系提取任务构造一个多选择提示，形式如下：

C\] rel1 \[C\] rel2 ... \[C\] rel N 其中，\[C\]为分隔符。例如Figure 2 中，将employee_of、ceo_of和others连接在一起，形成多项选择提示"\[C\] employee of \[C\] ceo of \[C\] others \[SEP\] \[e1\] Tim Cook \[/e1\] is the CEO of \[e2\] Apple \[/e2\] . \[SEP\]"。在获得多选项提示后，将其与输入句子一起输入实例编码器 ### Instance Encoder 编码前，将多选择提示与每个输入实例链接，用\[SEP\]标志将其分隔，并分别用\[e1\]、\[/e1\]、\[e2\]和\[/e2\]将头、尾实体包起来。例如Figure 2的示例，编码器的输入为"\[CLS\] \[C\] employee of \[C\] ceo of \[C\] others \[SEP\] \[e1\] Tim Cook \[/e1\] is the CEO of \[e2\] Apple \[/e2\] . \[SEP\]"，然后通过transformer encoder对整个句子![x](https://latex.csdn.net/eq)进行编码： ![h_{\[CLS\]},h_{\[C\]},...,h_{\[SEP\]}=H(x)](https://latex.csdn.net/eq) ### Multi-choice Matching and Prediction 多选择匹配模块用来将输入实例匹配到对应的关系。对于每一种关系类型，使用\[C\]标记的隐藏层状态来表示关系： ![h_{rel_i}=h_{\[C\]_i}](https://latex.csdn.net/eq) 其中，![h_{rel_i}](https://latex.csdn.net/eq)表示关系![i](https://latex.csdn.net/eq)，![h_{\[C\]_i}](https://latex.csdn.net/eq)表示第![i](https://latex.csdn.net/eq)个token\[C\]的隐藏层状态。 对于输入文本，简单地对\[e1\]和\[e2\]的隐藏状态取平均值得到实例表示 ![X=avg(h_{\[e1\]},h_{\[e2\]})](https://latex.csdn.net/eq) 然后在实例和每个关系之间执行匹配操作： ![D(x,y_i)=\left \| X-h_{rel_i} \right \|_2](https://latex.csdn.net/eq) 在这个公式中，采用欧氏距离来度量相似度，每个关系对应的概率为 ![P(y_i|x;\theta )=\frac{exp(-D(x.y_i))}{\sum_{j=1}^{N}exp(-D(x,y_i))}](https://latex.csdn.net/eq) 最后选择概率最大的关系![\widehat{y}](https://latex.csdn.net/eq)作为预测 ![\widehat{y}=\underset{i}{argmax}P(y_i|s;\theta )](https://latex.csdn.net/eq) ### Training Loss ![L_{(x,y)}(\theta )=-\sum_{i=1}^{N}I(y_i)logP(y_i|x_i;\theta)](https://latex.csdn.net/eq) ## Training Strategies for Multi-Choice Matching Networks ### Triplet-Paraphrase Construction 为了使MCMN具有标签语义匹配能力，需要结合关系句和关系类型的大规模数据进行预训练。但是现有的RE数据集中高度有限的关系类型可能导致特定关系的过拟合，不利于MCMN的推广。Triplet-Paraphrase从原始文本中为MCMN生成大规模的预训练数据。Triplet-Paraphrase模块的总体流程如下图（a）所示，它从大规模的原始文本中提取谓词作为关系描述，然后利用提取的关系三元组生成Paraphrase句子进行进一步的多选择匹配预训练。 ![](https://i-blog.csdnimg.cn/blog_migrate/456abc7bba8fc80c8286564eb1705ad3.png) **关系三元组提取：** 大多数完整的句子至少包含一个关系三元组，包括主语、谓语和宾语。句子中的谓语对应的是主语和宾语之间的属性或者关系，可以看做是一种关系的具体表述。为了从开放域文本中提取大规模的三元组，使用OpenIE模型对Wikipedia的文章集合进行抽取。从原始文本中收集所有提取的谓词来表示对应的关系，防止模型过渡拟合特定的关系类型。然后将这些三元组用于Paraphrase生成和预训练。 **Paraphrase生成：** 对于提取出来的三元组，首先用"\[H\], \[R\], \[T\]"将其包装起来，分别对应主语、谓语和宾语，然后输入包装好的三元组文本以生成Paraphrase文本。例如三元组 (*an online service, known as, PlayNET* )被包装为"\[H\] an online service \[R\] known as \[T\] PlayNET"，然后生成Paraphrase文本*playnet is an online service*。在生成paraphrase之后，将其与对应的谓词进行匹配，以便进行预训练。 ### Triplet-Paraphrase Meta Pre-training 预训练batch中的每个实例都包含paraphrase文本和相应的谓词span。如figure 3（a）所示，将当前mini-batch中的所有谓词链接为多选择提示，并按照Training Loss中的损失函数对MCMN进行预训练，其中，当![y_i](https://latex.csdn.net/eq)是对应的谓词时，![I(y_i)=1](https://latex.csdn.net/eq)，否则![I(y_i)=0](https://latex.csdn.net/eq)。 ### Online Task Adaptation 在在线学习或者测试期间，针对不用的低样本任务采用不同的适应策略。对于Zero-shot RE，直接使用经过训练的MCMN来执行任务，对于Few-shot RE，对支持集执行在线任务元训练，如算法1。 ![](https://i-blog.csdnimg.cn/blog_migrate/d5418ad389b1b2b311876c5683c8b289.png) ## Experiments 本文进行了三种任务上的实验：① Zero-shot RE；② Few-shot RE；③ Few-shot RE with NOTA，即查询集实例的关系类别不存在于支持集中。 ![](https://i-blog.csdnimg.cn/blog_migrate/ce1d01d149f3eddf4767ae627084717d.png) 消融实验 ![](https://i-blog.csdnimg.cn/blog_migrate/9526ba1794b4e242280013a61ed4299c.png)