介绍FRAMES:一个统一的检索增强生成评估框架

引言

大型语言模型(LLMs)在认知任务上取得了显著进步,检索增强生成(RAG)技术成为提升模型性能的重要方法。然而,现有的评估方法往往孤立地测试模型的检索能力、事实性和推理能力,无法全面反映模型在真实场景中的表现。为了解决这一问题,谷歌DeepMind和哈佛大学的研究团队提出了FRAMES(Factuality, Retrieval, And reasoning MEasurement Set),这是一个高质量的数据集,旨在统一评估RAG系统的核心能力。

FRAMES的核心特点

FRAMES数据集包含824个具有挑战性的多跳问题,每个问题需要整合多个维基百科文章的信息才能回答。这些问题覆盖了历史、体育、科学、动物、健康等多个领域,并涉及以下五种推理类型:

  1. 数值推理:涉及计数、比较或计算。
  2. 表格推理:需要分析维基百科中的表格或信息框。
  3. 多重约束:问题包含多个约束条件,其交集指向唯一答案。
  4. 时间推理:涉及时间线的推理。
  5. 后处理:在收集所有必要事实后,需要进行特定处理(如单位转换或格式调整)。

FRAMES的独特之处在于它首次将事实性、检索能力和推理能力整合到一个统一的评估框架中,填补了现有基准测试的空白。

数据集构建过程

研究团队首先尝试通过LLM生成合成数据,但发现超过30%的问题存在幻觉或错误。因此,他们转向人工标注,由专家团队设计问题,并确保每个问题需要2到15篇维基百科文章才能回答。此外,团队还实施了严格的质量检查,包括:

  • 验证答案的正确性和基于维基百科的可靠性。
  • 添加时间上下文以避免歧义(例如"截至2024年8月1日")。
  • 避免二元答案问题,防止模型通过随机猜测获得高分。

实验结果

研究团队对多个先进LLM(如Gemini-Pro、Gemini-Flash、Gemma2等)进行了评估,结果如下:

  1. 单步评估

    • 在没有检索的情况下,Gemini-Pro的准确率仅为0.408。
    • 通过BM25检索相关文章后,准确率提升至0.474。
    • 当提供所有相关文章(Oracle Prompt)时,准确率达到0.729,但模型在数值推理、表格推理和后处理任务上仍表现不佳。
  2. 多步评估

    • 通过多步检索和推理,模型的准确率显著提升至0.66(接近Oracle性能)。
    • 改进的关键在于为模型提供搜索规划指令,例如避免重复查询和分步思考。

意义与未来方向

FRAMES为RAG系统的评估提供了更全面的基准,揭示了当前模型在复杂推理任务上的局限性。未来研究方向包括:

  • 开发更高效的检索策略(如基于ColBERT或SimCSE的密集检索器)。
  • 提升模型的推理能力(如通过过程监督或蒸馏技术)。
  • 扩展数据集以涵盖更多领域和动态信息。

结论

FRAMES是评估RAG系统的重要一步,它不仅帮助研究者更准确地衡量模型性能,还为改进检索和推理能力提供了明确方向。随着RAG技术在现实应用中的普及,这样的综合评估框架将变得越来越重要。

数据集链接Hugging Face
论文作者:Satyapriya Krishna, Kalpesh Krishna, Anhad Mohananey等

相关推荐
whaosoft-143几秒前
51c自动驾驶~合集15
人工智能
花楸树1 分钟前
前端搭建 MCP Client(Web版)+ Server + Agent 实践
前端·人工智能
用户876128290737411 分钟前
前端ai对话框架semi-design-vue
前端·人工智能
量子位11 分钟前
稚晖君刚挖来的 90 后机器人大牛:逆袭履历堪比爽文男主
人工智能·llm
量子位17 分钟前
200 亿机器人独角兽被曝爆雷,官方回应来了
人工智能·llm
机器之心20 分钟前
细节厘米级还原、实时渲染,MTGS方法突破自动驾驶场景重建瓶颈
人工智能
arbboter35 分钟前
【AI插件开发】Notepad++ AI插件开发实践:从Dock窗口集成到功能菜单实现
人工智能·notepad++·动态菜单·notepad++插件开发·dock窗口集成·ai代码辅助工具·ai对话窗口
jndingxin44 分钟前
OpenCV 图形API(或称G-API)(1)
人工智能·opencv·计算机视觉
神马行空2 小时前
一文解读DeepSeek大模型在政府工作中具体的场景应用
人工智能·大模型·数字化转型·deepseek·政务应用
合合技术团队2 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别