关于元学习的相关论文

Hierarchical Attention Prototypical Networks for

Few-Shot Text Classification

翻译:基于层级注意力原型网络的小样本文本分类

hierarchical attention 层级注意力:一部分为词注意部分,另一部分为句注意部分。对于每部分,都使用双向RNN结合注意力机制,将小句子映射为一个向量,然后对于映射得到的一组序列向量,再通过一层双向RNN结合注意力机制实现对文本的分类。

prototypical network原型网络,基本思想,对于每一个分类来创建一个原型表示,并且对与一个需要分类的查询,采用计算分类的原型向量和查询点的距离来进行确定。

摘要

针对问题:目前有效的文本分类方法是基于大规模标注数据和大量参数,当监督训练数据少且难收集问题。

方法:提出基于层级注意力原型网络(HAPN)的小样本文本分类,

具体:设计特征级、词级和实例级多交叉注意,增强语义空间表达能力。

数据集:FewRel CSID

Memory, Show t he Way: Memory Based Few Shot Word Representation Learning

摘要:

针对问题:分布式语义模型(Distributional semantic models)需要足够的示例学习单词的高质量表示。

方法:Mem2Vec,一种基于记忆的嵌入学习方法,从相当有限的上下文中获取高质量的单词表示,是基于预先训练好的嵌入空间。

相关工作

稀有词嵌入、跨域单词嵌入、基于记忆的元学习

K和V分别表示记忆的键向量和值向量,左:知识积累阶段。该模型学习单词嵌入并将原型存储在记忆中。右:快速适应阶段,在给定语境下从记忆中提取的原型和语境嵌入相结合,形成目标词表示。

Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

摘要

针对问题:使用几个标记好的支撑集标签实现槽标签,即不同domain有不同的label set,一个domain的label依赖关系无法迁移到其他domain。

方法:提出了一种压缩的依赖转移机制(collapsed dependency transfer)计算CRF的转移概率矩阵,通过把具体的label压缩成一个抽象的label,计算一个domain无关的状态转移矩阵,实现不同domain之间的label依赖转移。

条件随机场(conditional random field ,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。

基于CRF并改进了发射概率矩阵和转移概率矩阵大幅度提升了少样本slot filling(槽填充)的效果。

其中,槽填充指的是为了让用户意图转化为用户明确的指令而补全信息的过程。

比如在一个订票系统上,我们的输入 "Arrive Taipei on November 2nd" 这样一个序列,

我们设置几个槽位(Slot),希望算法能够将关键词'Taipei'放入目的地(Destination)槽位,

将November和2nd放入到达时间(Time of Arrival)槽位,将Arrive和on放入其他(Other)

槽位,实现对输入序列的一个归类,以便后续提取相应信息。

用前馈神经网络(Feedforward Neural Network)来解决这个问题的话,我们首先要对输入序列向量化,

将每一个输入的单词用向量表示,可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法,输出预测槽位的概率分布。

相关推荐
小晶晶京京1 小时前
day43-Ansible-PlayBook
linux·运维·学习·ansible
Janspran1 小时前
嵌入式Linux学习 - 远程连接 与 wireshark
linux·学习·wireshark
一条破秋裤1 小时前
【拍摄学习记录】07-影调、直方图量化、向右向左
学习
梦中的天之酒壶2 小时前
Mysql 学习感悟 Day 1 Mysql架构
学习·mysql
limengshi1383923 小时前
人工智能学习:Linux相关面试题
linux·人工智能·深度学习·学习
凯尔萨厮4 小时前
Oracle下载安装(学习版)
学习
十安_数学好题速析15 小时前
数列寻方:等差数列和为完全平方数
笔记·学习·高考
biuyyyxxx16 小时前
Excel数组学习笔记
笔记·学习·算法
2006yu16 小时前
从零开始学习单片机17
单片机·嵌入式硬件·学习
励志不掉头发的内向程序员17 小时前
从零开始的python学习——常量与变量
开发语言·python·学习