笔记整理：曹旭东，东南大学硕士，研究方向为知识图谱构建、自然语言处理
1. 动机
在以前的工作中，命名实体识别（NER）涉及的主要问题有三种类型，包括平面、重叠（也称为嵌套）和不连续的命名实体识别，这些类型大多分别研究。最近，对于统一的NER模型的研究越来越多，它只需一个模型，就可以同时处理上述三种问题。目前表现最佳的方法主要包括基于span的模型和sequence-to-sequence模型，然而，现有的最优方法都有着不足，前者主要关注边界识别，后者可能受到曝光偏差的影响。
为了继续提升统一NER的效果，文章提出了一种新颖的方法，将统一的NER建模为word-word关系分类，即W2NER。该架构通过有效地建模实体词之间的相邻关系，解决了统一的NER的核心瓶颈。基于W2NER方案，文章开发了一个神经框架，其中统一的NER被建模为一个单词对的2D网格。然后，提出了多粒度的2D卷积来更好地调整网格表示。最后，使用共同预测器充分推理单词之间的关系。
2. 贡献
文章的贡献有：
（1）提出了一种创新的方法，将统一的命名实体识别（NER）视为word-word关系分类，同时充分考虑了实体边界词之间的关系和实体内部词之间的关系；
（2）为统一的命名实体识别（NER）开发了一个神经网络框架，在其中提出了一种多粒度的二维卷积方法，以充分捕捉近距离和远距离单词之间的相互作用；
3. 方法
（1）将NER看作word-word关系分类
任务可以形式化如下: 给定一个由N个token或word组成的输入句子X = {x1, x2，...， xN}，任务旨在提取每个标记对(xi, xj)之间的关系R，其中R是预定义的，包括NONE, Next-Neighboring-Word (NNW)和Tail-Head-Word-* (THW-*)。这些关系如图1所示的示例：
I am having aching in legs and shoulders
图1 关系分类示例
• NONE，表示该单词对在本文中没有定义任何关系。
• Next-Neighboring-Word（NNW）：NNW关系表示该单词对属于一个实体
• Tail-Head-Word-*（THW）：THW关系表示网格中某一行的单词是实体提及的尾部，而网格中某一列的单词是实体提及的头部。"*"表示实体类型。
在示例中，说明aching-in, in-legs, in-shoulders之间是NNW，aching-legs, aching-shoulders之间是THW-S(symptom)
（2）模型框架：如下图2所示为本文提出的统一的命名实体识别（NER）的神经网络框架W2NER。
图2神经框架
框架的体系结构如图2所示，它主要由三个组件组成。
•编码器层：
利用BERT作为模型的输入。给定一个输入句子 ，将每个标记或单词 转换为词块，然后将它们输入预训练的BERT模块。经过BERT计算后，每个句子词可能包含几个片段的向量表示。为了进一步增强上下文建模，采用双向LSTM生成最终的单词表示。
•卷积层：
卷积层包括三个模块，包括一个具有规范化的条件层，用于生成词对网格的表示，一个BERT风格的网格表示构建，以丰富词对网格的表示，以及一个多粒度扩展卷积，用于捕获近词和远词之间的相互作用。
条件层：由于NNW关系和THW关系都是有方向的，因此，单词对 的表示 可以认为是 的表示 和 的表示 的组合，这种组合应该意味着 以 为条件。采用条件层归一化(Conditional Layer Normalization, CLN)机制来计算 ：
其中， 为产生层归一化增益参数 γαα 和偏置 λββ 的条件。µ和σ是 各元素之间的均值和标准差。
BERT风格的网格：在BERT的启发下，用类似的思路丰富了词对网格的表示，其中张量 表示单词信息，张量 表示每对单词之间的相对位置信息，张量 表示网格中用于区分上下三角形区域的区域信息。然后，将三种嵌入连接起来，并采用多层感知器(MLP)将其降维并混合这些信息，以获得网格 的位置区域感知表示。
多粒度扩展卷积：在TextCNN的启发下，采用不同扩展率l(例如，l∈[1,2,3])的多个二维扩展卷积(DConv)来捕捉不同距离的单词之间的相互作用。
•共同预测层：
同时使用Biaffine和MLP这两个预测器来计算两个独立的词对 的关系分布，并将它们组合起来作为最终的预测。
（3）损失函数
对于每个句子 ，的训练目标是最小化负对数似然损失形式化为：
其中N是句子中的单词数， 是表示单词对 的关系标签的二进制向量， 是预测的概率向量。r表示预定义关系集R的第r个关系。
4. 实验
（1）实验相关数据集
为了评估三个NER子任务框架，在14个数据集上进行了实验。
扁平的NER数据集有：CoNLL-2003，OntoNotes 5.0，OntoNotes 4.0，Weibo，Resume
实体重叠的NER数据集：ACE 2004中文和英文，ACE 2005中文和英文，GENIA
实体不连续的NER数据集：CADEC，ShARe13，ShARe14
选取的baselines有：Tagging-based方法，Span-based方法，Hypergraph-based方法，Seq2Seq方法等等。
（2）实验结果
对比实验：
在六个扁平数据集上评估框架。如表1所示，W2NER模型在CoNLL 2003和OntoNotes 5.0数据集上获得了93.07% F1和90.50% F1的最佳性能。W2NER模型在OntoNotes 5.0上的F1比另一个统一的NER框架高出0.23%。中文数据集的结果如表2所示，其中基线均为基于标注的方法。发现W2NER模型在OntoNotes 4.0、MSRA、Resume和Weibo上分别比之前的SoTA结果高出0.27%、0.01%、0.54%和1.82%。
表1 英文扁平NER数据集的结果
表2 中文扁平NER数据集的结果
表3给出了重叠的NER数据集和不连续NER数据集的结果。W2NER模型优于以前的工作。
表3 英文重叠NER数据集的结果
表4 不连续NER数据集的结果
消融实验：
表5 消融实验结果
在CoNLL2003、ACE2005和CADEC数据集上消融了模型的各个部分。验证了多粒度扩展卷积的有效性，同时也证明了NNW关系对结果的重要性。
5. 总结
本文提出了一种对NER任务新颖的建模方法，看作word-word的关系预测，并且验证了NONE, Next-Neighboring-Word (NNW)和Tail-Head-Word-* (THW-*)的关系预测，可以很好的支撑NER的进行，同时解决了统一NER的问题，提出的新的模型表现优于已有模型。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文 ，进入 OpenKG 网站。