论文 | LEAST-TO-MOST PROMPTING ENABLES COMPLEXREASONING IN LARGE LANGUAGE MODELS

论文主题: 这篇论文提出了"从简单到复杂提示"(Least-to-Most Prompting)这一新的提示策略,旨在解决大语言模型在解决比提示示例更复杂的问题时表现不佳的难题。

核心思想

  • 将复杂问题分解成一系列更简单的子问题。
  • 按顺序解决这些子问题,利用先前子问题的答案来辅助解决当前子问题。
  • 两阶段提示:分解阶段和子问题解决阶段。

优势

  • 泛化能力强: 能够将提示中未见过的问题解决得更好。
  • 无需训练或微调: 提示策略本身不需要训练或微调。
  • 可解释性强: 模型输出的推理过程清晰易懂。

实验结果

  • 符号操作: 在处理长度可变的问题时,从简单到复杂提示比思维链提示表现更优。
  • 组合泛化: 使用 GPT-3 模型,从简单到复杂提示在 SCAN 基准测试中取得了 99.7% 的准确率,而思维链提示只有 16%。
  • 数学推理: 在 GSM8K 和 DROP 基准测试中,从简单到复杂提示也优于思维链提示,尤其是在解决需要多步推理的问题时。

局限性

  • 分解提示泛化性差: 不同领域的分解提示需要单独设计。
  • 分解泛化困难: 即使在同一领域,分解复杂问题也难以实现。

结论与讨论

  • 从简单到复杂提示是提升大语言模型推理能力的重要一步。
  • 提示方法可以进一步改进,例如将提示转换为双向对话,以便更有效地学习。

未来研究方向

  • 探索如何使分解提示在不同领域之间更具有通用性。
  • 研究如何更有效地指导模型进行分解泛化。
  • 将从简单到复杂提示与其他提示方法结合使用,进一步提升模型的推理能力。

文中如何将复杂的问题分解为子问题?

论文中使用了思维链提示(Chain-of-thought Prompting)的思想,但将其与分解提示(Decomposition Prompting)结合,形成了"从简单到复杂提示"(Least-to-Most Prompting)。

分解提示 的核心思想是将复杂问题分解成一系列更简单的子问题,每个子问题都比前一个子问题更容易解决。分解提示的关键在于:

  • 构建示例: 设计一系列示例,展示如何将复杂问题分解成子问题。
  • 明确步骤: 在提示中明确指出每个子问题需要解决什么。

思维链提示 则通过引导模型进行推理过程的输出,帮助模型理解问题的本质和解决思路。

从简单到复杂提示 结合了这两种提示方法的优点,通过分解提示将复杂问题分解成子问题,再通过思维链提示引导模型逐步解决这些子问题,最终得到问题的答案。

具体操作:

  1. 分解阶段:
    • 设计包含分解示例的提示,例如:
      • 示例: "The last letter of 'thinking' is 'k'... So, 'think, machine' outputs 'ke'."
      • 问题: 将 "think, machine, learning" 分解成更简单的子问题。
    • 将模型生成的分解结果作为后续步骤的输入。
  2. 子问题解决阶段:
    • 设计包含思维链示例的提示,例如:
      • 示例: "The output of 'run left' concatenates: the output of 'turn left', the output of 'run'... So the output of 'run left' is 'TURN LEFT' + 'RUN'."
      • 先前答案: 模型在分解阶段生成的子问题答案。
      • 问题: 解决当前子问题。
    • 将模型生成的子问题答案作为后续步骤的输入,直到解决所有子问题,得到最终答案。

这种分解和解决相结合的方式,能够有效地引导模型逐步理解复杂问题,并将其解决。

相关推荐
蓝婷儿3 分钟前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
云卓SKYDROID9 分钟前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID11 分钟前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
麻雀无能为力1 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人1 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法1 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾1 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石821 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
IT古董2 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型(Decision Tree Regression)
神经网络·机器学习·回归
未来智慧谷2 小时前
微软医疗AI诊断系统发布 多智能体协作实现疑难病例分析
人工智能·microsoft·医疗ai