【大语言模型】ACL2024论文-28 TTM-RE: 增强记忆的文档级关系抽取

【大语言模型】ACL2024论文-28 TTM-RE: 增强记忆的文档级关系抽取


目录

文章目录


文章信息

TTM-RE: 增强记忆的文档级关系抽取

摘要

本文提出了TTM-RE,一种新颖的方法,它通过集成可训练的记忆模块(Token Turing Machine)和鲁棒的损失函数来解决文档级关系抽取问题。这种方法特别针对大规模、噪声多的训练数据,通过实验表明,TTM-RE在ReDocRED基准数据集上实现了最先进的性能,绝对F1分数提高了超过3%。

研究背景

文档级关系抽取的目标是在文档中识别并分类两个实体之间的关系。以往的方法在利用大规模、不同噪声水平的训练数据方面效果不佳。例如,在ReDocRED基准数据集中,使用大规模、低质量的远程监督训练数据训练出的状态最先进的方法,通常并不比仅使用小型、高质量的人工标注训练数据训练出的方法表现得更好。

问题与挑战

文档级关系抽取面临的挑战包括标签不平衡、文档中可能的实体对组合数量呈二次方增长等。此外,如何有效利用大规模的远程标注数据也是一个挑战。

如何解决

TTM-RE通过引入Token Turing Machine(TTM)记忆模块和针对正-未标记设置的噪声鲁棒损失函数来解决上述问题。TTM能够存储和处理输入实体,输出记忆增强的实体表示,用于关系分类。

创新点

  1. 提出了TTM-RE,首个记忆增强的文档级关系抽取模型。
  2. 通过结合伪实体,显著提升了下游关系分类性能。
  3. 在极端未标记设置下,TTM-RE的性能超过了之前的最佳方法。

算法模型

TTM-RE的核心是Token Turing Machine(TTM),它包含一个可训练的记忆模块。记忆模块处理输入实体,并输出到关系分类器。模型还采用了噪声鲁棒损失函数(SSR-PU),适用于正-未标记学习设置。

实验效果

  • 在ReDocRED数据集上,TTM-RE实现了最先进的性能,F1分数提高了超过3%。
  • 在ChemDisGene数据集上,TTM-RE在生物医学领域也表现出色,F1分数提高了5%。
  • 在极端未标记设置下,TTM-RE的F1分数比之前的最佳方法提高了12%。

推荐阅读指数:★★★★☆


后记

如果您对我的博客内容感兴趣,欢迎三连击(点赞,关注和评论 ),我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习,计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

相关推荐
浩哥的技术博客40 分钟前
使用MetaGPT 创建智能体(1)入门
人工智能·大模型·智能体
胖哥真不错43 分钟前
数据分享:汽车测评数据
python·机器学习·数据分享·汽车测评数据·car evaluation
明月看潮生1 小时前
青少年编程与数学 02-015 大学数学知识点 07课题、数值分析
机器学习·青少年编程·数值分析·编程与数学
不惑_2 小时前
基于HAI应用,从零开始的NLP处理实践指南
人工智能
OreoCC2 小时前
第R3周:RNN-心脏病预测(pytorch版)
人工智能·pytorch·rnn
说私域2 小时前
基于开源链动 2+1 模式 AI 智能名片 S2B2C 商城小程序的社群团购品牌命名策略研究
人工智能·小程序·开源·零售
森叶2 小时前
免费Deepseek-v3接口实现Browser-Use Web UI:浏览器自动化本地模拟抓取数据实录
前端·人工智能·自动化
訾博ZiBo3 小时前
AI日报 - 2025年4月9日
人工智能