Hierarchical Attention Prototypical Networks for
Few-Shot Text Classification
翻译：基于层级注意力原型网络的小样本文本分类
hierarchical attention 层级注意力：一部分为词注意部分，另一部分为句注意部分。对于每部分，都使用双向RNN结合注意力机制，将小句子映射为一个向量，然后对于映射得到的一组序列向量，再通过一层双向RNN结合注意力机制实现对文本的分类。
prototypical network原型网络，基本思想，对于每一个分类来创建一个原型表示，并且对与一个需要分类的查询，采用计算分类的原型向量和查询点的距离来进行确定。
摘要
针对问题：目前有效的文本分类方法是基于大规模标注数据和大量参数，当监督训练数据少且难收集问题。
方法：提出基于层级注意力原型网络（HAPN）的小样本文本分类，
具体：设计特征级、词级和实例级多交叉注意，增强语义空间表达能力。
数据集：FewRel CSID
Memory, Show t he Way: Memory Based Few Shot Word Representation Learning
摘要：
针对问题：分布式语义模型（Distributional semantic models）需要足够的示例学习单词的高质量表示。
方法：Mem2Vec,一种基于记忆的嵌入学习方法，从相当有限的上下文中获取高质量的单词表示，是基于预先训练好的嵌入空间。
相关工作
稀有词嵌入、跨域单词嵌入、基于记忆的元学习
K和V分别表示记忆的键向量和值向量，左：知识积累阶段。该模型学习单词嵌入并将原型存储在记忆中。右：快速适应阶段，在给定语境下从记忆中提取的原型和语境嵌入相结合，形成目标词表示。
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
摘要
针对问题：使用几个标记好的支撑集标签实现槽标签，即不同domain有不同的label set，一个domain的label依赖关系无法迁移到其他domain。
方法：提出了一种压缩的依赖转移机制（collapsed dependency transfer）计算CRF的转移概率矩阵，通过把具体的label压缩成一个抽象的label，计算一个domain无关的状态转移矩阵，实现不同domain之间的label依赖转移。
条件随机场（conditional random field ,CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。
基于CRF并改进了发射概率矩阵和转移概率矩阵大幅度提升了少样本slot filling（槽填充）的效果。
其中，槽填充指的是为了让用户意图转化为用户明确的指令而补全信息的过程。
比如在一个订票系统上，我们的输入 "Arrive Taipei on November 2nd" 这样一个序列，
我们设置几个槽位（Slot），希望算法能够将关键词'Taipei'放入目的地（Destination）槽位，
将November和2nd放入到达时间（Time of Arrival）槽位，将Arrive和on放入其他（Other）
槽位，实现对输入序列的一个归类，以便后续提取相应信息。
用前馈神经网络（Feedforward Neural Network）来解决这个问题的话，我们首先要对输入序列向量化，
将每一个输入的单词用向量表示，可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法，输出预测槽位的概率分布。