关于元学习的相关论文

Hierarchical Attention Prototypical Networks for

Few-Shot Text Classification

翻译:基于层级注意力原型网络的小样本文本分类

hierarchical attention 层级注意力:一部分为词注意部分,另一部分为句注意部分。对于每部分,都使用双向RNN结合注意力机制,将小句子映射为一个向量,然后对于映射得到的一组序列向量,再通过一层双向RNN结合注意力机制实现对文本的分类。

prototypical network原型网络,基本思想,对于每一个分类来创建一个原型表示,并且对与一个需要分类的查询,采用计算分类的原型向量和查询点的距离来进行确定。

摘要

针对问题:目前有效的文本分类方法是基于大规模标注数据和大量参数,当监督训练数据少且难收集问题。

方法:提出基于层级注意力原型网络(HAPN)的小样本文本分类,

具体:设计特征级、词级和实例级多交叉注意,增强语义空间表达能力。

数据集:FewRel CSID

Memory, Show t he Way: Memory Based Few Shot Word Representation Learning

摘要:

针对问题:分布式语义模型(Distributional semantic models)需要足够的示例学习单词的高质量表示。

方法:Mem2Vec,一种基于记忆的嵌入学习方法,从相当有限的上下文中获取高质量的单词表示,是基于预先训练好的嵌入空间。

相关工作

稀有词嵌入、跨域单词嵌入、基于记忆的元学习

K和V分别表示记忆的键向量和值向量,左:知识积累阶段。该模型学习单词嵌入并将原型存储在记忆中。右:快速适应阶段,在给定语境下从记忆中提取的原型和语境嵌入相结合,形成目标词表示。

Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

摘要

针对问题:使用几个标记好的支撑集标签实现槽标签,即不同domain有不同的label set,一个domain的label依赖关系无法迁移到其他domain。

方法:提出了一种压缩的依赖转移机制(collapsed dependency transfer)计算CRF的转移概率矩阵,通过把具体的label压缩成一个抽象的label,计算一个domain无关的状态转移矩阵,实现不同domain之间的label依赖转移。

条件随机场(conditional random field ,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。

基于CRF并改进了发射概率矩阵和转移概率矩阵大幅度提升了少样本slot filling(槽填充)的效果。

其中,槽填充指的是为了让用户意图转化为用户明确的指令而补全信息的过程。

比如在一个订票系统上,我们的输入 "Arrive Taipei on November 2nd" 这样一个序列,

我们设置几个槽位(Slot),希望算法能够将关键词'Taipei'放入目的地(Destination)槽位,

将November和2nd放入到达时间(Time of Arrival)槽位,将Arrive和on放入其他(Other)

槽位,实现对输入序列的一个归类,以便后续提取相应信息。

用前馈神经网络(Feedforward Neural Network)来解决这个问题的话,我们首先要对输入序列向量化,

将每一个输入的单词用向量表示,可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法,输出预测槽位的概率分布。

相关推荐
绵绵细雨中的乡音16 分钟前
Linux进程学习【基本认知】
linux·运维·学习
我的golang之路果然有问题2 小时前
快速了解redis,个人笔记
数据库·经验分享·redis·笔记·学习·缓存·内存
Angindem3 小时前
SpringClound 微服务分布式Nacos学习笔记
分布式·学习·微服务
虾球xz4 小时前
游戏引擎学习第244天: 完成异步纹理下载
c++·学习·游戏引擎
BOB-wangbaohai4 小时前
Flowable7.x学习笔记(十四)查看部署流程Bpmn2.0-xml
xml·笔记·学习
先生沉默先4 小时前
c#接口_抽象类_多态学习
开发语言·学习·c#
豆芽8194 小时前
图解YOLO(You Only Look Once)目标检测(v1-v5)
人工智能·深度学习·学习·yolo·目标检测·计算机视觉
友善啊,朋友4 小时前
《普通逻辑》学习记录——性质命题及其推理
学习·逻辑学
Gsen28195 小时前
AI大模型从0到1记录学习 数据结构和算法 day20
数据结构·学习·算法·生成对抗网络·目标跟踪·语言模型·知识图谱
能来帮帮蒟蒻吗6 小时前
Docker安装(Ubuntu22版)
笔记·学习·spring cloud·docker·容器