关于元学习的相关论文

Hierarchical Attention Prototypical Networks for

Few-Shot Text Classification

翻译:基于层级注意力原型网络的小样本文本分类

hierarchical attention 层级注意力:一部分为词注意部分,另一部分为句注意部分。对于每部分,都使用双向RNN结合注意力机制,将小句子映射为一个向量,然后对于映射得到的一组序列向量,再通过一层双向RNN结合注意力机制实现对文本的分类。

prototypical network原型网络,基本思想,对于每一个分类来创建一个原型表示,并且对与一个需要分类的查询,采用计算分类的原型向量和查询点的距离来进行确定。

摘要

针对问题:目前有效的文本分类方法是基于大规模标注数据和大量参数,当监督训练数据少且难收集问题。

方法:提出基于层级注意力原型网络(HAPN)的小样本文本分类,

具体:设计特征级、词级和实例级多交叉注意,增强语义空间表达能力。

数据集:FewRel CSID

Memory, Show t he Way: Memory Based Few Shot Word Representation Learning

摘要:

针对问题:分布式语义模型(Distributional semantic models)需要足够的示例学习单词的高质量表示。

方法:Mem2Vec,一种基于记忆的嵌入学习方法,从相当有限的上下文中获取高质量的单词表示,是基于预先训练好的嵌入空间。

相关工作

稀有词嵌入、跨域单词嵌入、基于记忆的元学习

K和V分别表示记忆的键向量和值向量,左:知识积累阶段。该模型学习单词嵌入并将原型存储在记忆中。右:快速适应阶段,在给定语境下从记忆中提取的原型和语境嵌入相结合,形成目标词表示。

Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

摘要

针对问题:使用几个标记好的支撑集标签实现槽标签,即不同domain有不同的label set,一个domain的label依赖关系无法迁移到其他domain。

方法:提出了一种压缩的依赖转移机制(collapsed dependency transfer)计算CRF的转移概率矩阵,通过把具体的label压缩成一个抽象的label,计算一个domain无关的状态转移矩阵,实现不同domain之间的label依赖转移。

条件随机场(conditional random field ,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。

基于CRF并改进了发射概率矩阵和转移概率矩阵大幅度提升了少样本slot filling(槽填充)的效果。

其中,槽填充指的是为了让用户意图转化为用户明确的指令而补全信息的过程。

比如在一个订票系统上,我们的输入 "Arrive Taipei on November 2nd" 这样一个序列,

我们设置几个槽位(Slot),希望算法能够将关键词'Taipei'放入目的地(Destination)槽位,

将November和2nd放入到达时间(Time of Arrival)槽位,将Arrive和on放入其他(Other)

槽位,实现对输入序列的一个归类,以便后续提取相应信息。

用前馈神经网络(Feedforward Neural Network)来解决这个问题的话,我们首先要对输入序列向量化,

将每一个输入的单词用向量表示,可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法,输出预测槽位的概率分布。

相关推荐
云上艺旅10 小时前
K8S学习之基础七十四:部署在线书店bookinfo
学习·云原生·容器·kubernetes
你觉得20511 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
A旧城以西12 小时前
数据结构(JAVA)单向,双向链表
java·开发语言·数据结构·学习·链表·intellij-idea·idea
无所谓จุ๊บ12 小时前
VTK知识学习(50)- 交互与Widget(一)
学习·vtk
FAREWELL0007512 小时前
C#核心学习(七)面向对象--封装(6)C#中的拓展方法与运算符重载: 让代码更“聪明”的魔法
学习·c#·面向对象·运算符重载·oop·拓展方法
吴梓穆12 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
Three~stone13 小时前
MySQL学习集--DDL
数据库·sql·学习
齐尹秦13 小时前
HTML 音频(Audio)学习笔记
学习
瞌睡不来13 小时前
(学习总结32)Linux 基础 IO
linux·学习·io
Moonnnn.13 小时前
运算放大器(四)滤波电路(滤波器)
笔记·学习·硬件工程