【大语言模型】ACL2024论文-28 TTM-RE: 增强记忆的文档级关系抽取

【大语言模型】ACL2024论文-28 TTM-RE: 增强记忆的文档级关系抽取


目录

文章目录


文章信息

TTM-RE: 增强记忆的文档级关系抽取

摘要

本文提出了TTM-RE,一种新颖的方法,它通过集成可训练的记忆模块(Token Turing Machine)和鲁棒的损失函数来解决文档级关系抽取问题。这种方法特别针对大规模、噪声多的训练数据,通过实验表明,TTM-RE在ReDocRED基准数据集上实现了最先进的性能,绝对F1分数提高了超过3%。

研究背景

文档级关系抽取的目标是在文档中识别并分类两个实体之间的关系。以往的方法在利用大规模、不同噪声水平的训练数据方面效果不佳。例如,在ReDocRED基准数据集中,使用大规模、低质量的远程监督训练数据训练出的状态最先进的方法,通常并不比仅使用小型、高质量的人工标注训练数据训练出的方法表现得更好。

问题与挑战

文档级关系抽取面临的挑战包括标签不平衡、文档中可能的实体对组合数量呈二次方增长等。此外,如何有效利用大规模的远程标注数据也是一个挑战。

如何解决

TTM-RE通过引入Token Turing Machine(TTM)记忆模块和针对正-未标记设置的噪声鲁棒损失函数来解决上述问题。TTM能够存储和处理输入实体,输出记忆增强的实体表示,用于关系分类。

创新点

  1. 提出了TTM-RE,首个记忆增强的文档级关系抽取模型。
  2. 通过结合伪实体,显著提升了下游关系分类性能。
  3. 在极端未标记设置下,TTM-RE的性能超过了之前的最佳方法。

算法模型

TTM-RE的核心是Token Turing Machine(TTM),它包含一个可训练的记忆模块。记忆模块处理输入实体,并输出到关系分类器。模型还采用了噪声鲁棒损失函数(SSR-PU),适用于正-未标记学习设置。

实验效果

  • 在ReDocRED数据集上,TTM-RE实现了最先进的性能,F1分数提高了超过3%。
  • 在ChemDisGene数据集上,TTM-RE在生物医学领域也表现出色,F1分数提高了5%。
  • 在极端未标记设置下,TTM-RE的F1分数比之前的最佳方法提高了12%。

推荐阅读指数:★★★★☆


后记

如果您对我的博客内容感兴趣,欢迎三连击(点赞,关注和评论 ),我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习,计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

相关推荐
我有医保我先冲3 分钟前
AI大模型与人工智能的深度融合:重构医药行业数字化转型的底层逻辑
人工智能·重构
pen-ai27 分钟前
【NLP】15. NLP推理方法详解 --- 动态规划:序列标注,语法解析,共同指代
人工智能·自然语言处理·动态规划
Chaos_Wang_34 分钟前
NLP高频面试题(二十九)——大模型解码常见参数解析
人工智能·自然语言处理
Acrelhuang41 分钟前
8.3MW屋顶光伏+光储协同:上海汽车变速器低碳工厂的能源革命-安科瑞黄安南
大数据·数据库·人工智能·物联网·数据库开发
区块链蓝海41 分钟前
沉浸式体验测评|AI Ville:我在Web3小镇“生活”了一周
人工智能·web3·生活
whaosoft-1431 小时前
51c自动驾驶~合集15
人工智能
花楸树1 小时前
前端搭建 MCP Client(Web版)+ Server + Agent 实践
前端·人工智能
用户87612829073741 小时前
前端ai对话框架semi-design-vue
前端·人工智能
量子位1 小时前
稚晖君刚挖来的 90 后机器人大牛:逆袭履历堪比爽文男主
人工智能·llm