论文 | Measuring and Narrowing the Compositionality Gap in Language Models

存在的问题:

关于一个复杂的多跳问题,大语言模型可以正确回答基于该问题分解的多个子问题,但是对于这个问题的最终答案大语言模型可能最终还是给不出来正确的。该论文根据这个现象提出了一个术语,叫"组合性差距"。

解决的方法:

提出一种叫"self-ask"的方法,该方法是一种基于提示工程的更高级的技术,它通过引导模型进行自我反思和问题分解,从而更好地理解问题和生成答案。

自问通过以下步骤实现:

1. 问题分解

  • 模型首先分析初始问题,并确定是否需要分解为更简单的子问题。
  • 如果需要,模型会生成一个后续问题,并将其作为子问题提交给模型自身或搜索引擎。

2. 子问题回答

  • 模型回答生成的子问题,并返回答案。
  • 如果子问题无法通过模型自身或搜索引擎得到答案,则可以继续生成更简单的子问题,直到得到答案为止。

3. 最终答案生成

  • 模型根据子问题的答案,结合自身知识,生成最终答案。

自问方法的优势:

  • 明确的结构: 自问方法通过"后续问题"和"中间答案"等提示词,清晰地标记了问题分解和答案生成的过程,使得模型更容易理解和使用。
  • 可扩展性: 自问方法可以轻松地与外部知识库(如搜索引擎)结合,进一步提升模型回答组合问题的能力。
  • 提高准确率: 自问方法可以帮助模型更好地理解问题,并避免因错误组合事实而导致的错误答案。

自问方法的局限性:

  • 依赖模型能力: 自问方法的有效性依赖于模型自身的能力,如果模型无法理解问题或生成合适的子问题,则该方法可能无法发挥作用。
  • 计算成本: 自问方法可能需要模型进行多次推理,从而增加计算成本。

评估指标(间接评估了子问题在模型组合推理中的作用):

1. 组合推理差距

  • 论文主要关注"组合推理差距",即模型正确回答所有子问题但无法得出最终答案的比例。
  • 组合推理差距的大小可以反映模型进行组合推理的能力。
  • 研究发现,随着模型规模的增加,组合推理差距并没有显著下降,这表明模型在组合事实方面存在局限性。

2. 子问题正确率

  • 论文统计了模型回答子问题的正确率,并发现模型在大多数子问题上的正确率较高。
  • 这表明模型能够理解和回答子问题,但在将子问题答案组合成最终答案方面存在困难。

3. 模型对子问题的置信度

  • 论文分析了模型对子问题答案的置信度,发现模型对子问题答案的置信度越高,回答组合问题的正确率也越高。
  • 这表明模型在进行组合推理时,需要对其自身知识有较高的置信度。

4. 自问方法的性能提升

  • 论文比较了自问方法和其他方法的性能,发现自问方法能够显著提高模型回答组合问题的准确率。
  • 这表明自问方法能够帮助模型更好地理解问题和生成答案,从而缩小组合推理差距。
相关推荐
却道天凉_好个秋3 分钟前
计算机视觉(九):图像轮廓
人工智能·opencv·计算机视觉·图像轮廓
爱读源码的大都督9 分钟前
Java已死?别慌,看我如何用Java手写一个Qwen Code Agent,拯救Java
java·人工智能·后端
机器之心11 分钟前
国内外AI大厂重押,初创梭哈,谁能凭「记忆」成为下一个「DeepSeek」?
人工智能·openai
时序之心31 分钟前
覆盖Transformer、GAN:掩码重建正在重塑时间序列领域!
人工智能·深度学习·生成对抗网络·transformer·时间序列
机器之心38 分钟前
OpenAI罕见发论文:我们找到了AI幻觉的罪魁祸首
人工智能·openai
aneasystone本尊1 小时前
学习 GraphRAG 四大搜索策略
人工智能
惯导马工1 小时前
【论文导读】AI-Assisted Fatigue and Stamina Control for Performance Sports on IMU-Gene
深度学习·算法
鲸鱼在dn1 小时前
Transformer 架构的演进与未来方向(RNN → Self-Attention → Mamba)——李宏毅大模型2025第四讲笔记
rnn·深度学习·transformer
小胖墩有点瘦1 小时前
【基于深度学习的中草药识别系统】
人工智能·python·深度学习·课程设计·计算机毕业设计·中草药识别
六月的可乐1 小时前
AI助理前端UI组件-悬浮球组件
前端·人工智能