Chain of Note-CoN增强检索增强型语言模型的鲁棒性

Enhancing Robustness in Retrieval-Augmented Language Models

检索增强型语言模型(RALMs)在大型语言模型的能力上取得了重大进步,特别是在利用外部知识源减少事实性幻觉方面。然而,检索到的信息的可靠性并不总是有保证的。检索到无关数据可能导致回答偏离正轨,甚至可能使模型忽略其固有的知识,即使它拥有足够的信息来回答查询。此外,标准的RALMs通常难以评估它们是否拥有足够的知识,包括内在知识和检索到的知识,以提供准确的答案。在知识缺乏的情况下,这些系统理想情况下应该以"未知"回应无法回答的问题。为了应对这些挑战,我们引入了CHAIN-OF-NOTING(CON),这是一种新颖的方法,旨在提高RALMs在面对噪声、无关文档和未知场景时的鲁棒性。CON的核心思想是为检索到的文档生成顺序阅读笔记,从而彻底评估它们与给定问题的相关性,并将这些信息整合以形成最终答案。我们使用ChatGPT为CON创建训练数据,随后在LLaMa-2 7B模型上进行了训练。我们在四个开放领域问答基准上的实验表明,装备了CON的RALMs显著优于标准的RALMs。特别是,CON在完全噪声检索文档的情况下,EM分数平均提高了+7.9,在实时问题超出预训练知识范围的情况下的拒绝率提高了+10.5。

在这篇论文中,我们介绍了CHAIN-OF-NOTING(CON)框架,这是一种新颖的方法论,旨在增强RALMs的鲁棒性。CON的核心概念围绕着为每个检索到的文档生成顺序阅读笔记。这个过程允许深入评估文档与提出问题的相关性,并帮助合成这些信息以构建最终的答案。我们使用了ChatGPT来生成CON的初始训练数据,然后使用LLaMa-2 7B模型进一步优化这些数据。我们在各种开放领域问答基准上的测试表明,集成了CON的RALMs在性能上显著超过了传统的RALMs。

相关推荐
VIP_CQCRE1 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷2 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java3 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn3 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄4 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码5 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下6 小时前
langgraph 全栈项目(二)
前端·人工智能·后端