Tree of Thoughts: Deliberate Problem Solving with Large Language Models

本文是LLM系列的文章,针对《Tree of Thoughts: Deliberate Problem Solving

with Large Language Models》的翻译。

思维树:用大模型进行深思熟虑的问题解决

  • 摘要
  • [1 引言](#1 引言)
  • [2 背景](#2 背景)
  • [3 思维树:用LM进行深思熟虑的问题解决](#3 思维树:用LM进行深思熟虑的问题解决)
  • [4 实验](#4 实验)
  • [5 相关工作](#5 相关工作)
  • [6 讨论](#6 讨论)

摘要

语言模型越来越多地被部署用于解决各种任务中的一般问题,但在推理过程中仍然局限于token级别的从左到右的决策过程。这意味着他们可能无法完成需要探索、战略前瞻或初始决策发挥关键作用的任务。为了克服这些挑战,我们引入了一种新的语言模型推理框架"思维树"(ToT),它概括了流行的"思维链"方法来提示语言模型,并能够探索连贯的文本单元("思维"),作为解决问题的中间步骤。ToT允许LMs通过考虑多个不同的推理路径和自我评估选择来进行深思熟虑的决策,以决定下一步行动,并在必要时前瞻或回溯以做出全局选择。我们的实验表明,ToT显著提高了语言模型在三项需要非琐碎计划或搜索的新任务上的解决问题能力:24小时游戏、创意写作和迷你交叉词。例如,在《24小时游戏》中,具有思维链提示的GPT-4只解决了4%的任务,而我们的方法的成功率为74%。带有所有提示的代码库:https://github.com/ysymyth/tree-of-thought-llm.

1 引言

2 背景

3 思维树:用LM进行深思熟虑的问题解决

4 实验

5 相关工作

6 讨论

限制和未来方向 。对于GPT-4已经擅长的许多现有任务来说,像ToT这样的深思熟虑的搜索可能不是必要的,作为最初的一步,这项工作只探索了三个相对简单的任务,这些任务挑战了GPT-4,并呼吁将更好的搜索和规划能力与LMs结合起来。然而,随着我们开始为更多现实世界的决策应用(如编码、数据分析、机器人等)部署LM,可能会出现更复杂的任务,并为研究这些研究问题提供新的机会。此外,像ToT这样的搜索方法需要比采样方法更多的资源(例如GPT-4 API成本)来提高任务性能,但ToT的模块化灵活性允许用户定制这种性能成本权衡,正在进行的开源努力在不久的将来应该很容易降低这种成本。最后,这项工作的重点是使用现成的LM,使用ToT风格的高级反事实决策对LM进行微调(例如,考虑下一段的潜在选择,而不是预测下一个token)可能会为提高LM的解决问题能力提供机会。
更广泛的影响 。ToT是一个使LMs能够更自主、更智能地做出决策和解决问题的框架。虽然目前的任务仅限于推理和搜索问题,但未来涉及与外部环境或人类互动的应用可能会带来潜在的危险,例如促进LMs的有害使用。另一方面,ToT还提高了模型决策的可解释性和人类对齐的机会,因为生成的表示是可读的、高级语言推理,而不是隐式的、低级的token值。
结论。LMs的关联"系统1"可以通过基于搜索问题解决方案的可能路径树的"系统2"进行有益的扩展。思维树框架提供了一种将关于解决问题的经典见解转化为当代LMs可操作方法的方法。同时,LM解决了这些经典方法的弱点,提供了一种解决不容易形式化的复杂问题的方法,例如创造性写作。我们认为,LMs与人工智能经典方法的交叉是未来工作的一个令人兴奋的方向。

相关推荐
成富2 分钟前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
CSDN云计算15 分钟前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森26 分钟前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing112328 分钟前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子32 分钟前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing1 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
黄焖鸡能干四碗1 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
1 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
ctrey_1 小时前
2024-11-4 学习人工智能的Day21 openCV(3)
人工智能·opencv·学习
攻城狮_Dream2 小时前
“探索未来医疗:生成式人工智能在医疗领域的革命性应用“
人工智能·设计·医疗·毕业