论文 | ART: Automatic multi-step reasoning and tool-use for large language models

摘要：

• LLM 在进行多步推理和工具使用时存在局限性，例如需要大量标注数据或专门训练。
• 现有的 CoT 提示和工具使用方法难以扩展到新任务和工具。
• 本文介绍了 ART 框架，该框架使用冻结的 LLM 自动生成推理步骤，并选择和调用外部工具。
• ART 在 BigBench 和 MMLU 基准测试中取得了显著的性能提升，并可以接受人类反馈进行改进。

主要内容：

• ART 框架 ：
  • 任务库 (Task Library): 存储了来自不同任务的程序，这些程序展示了如何将任务分解为多个步骤，并使用工具进行计算。
  • 工具库 (Tool Library): 提供了可用的外部工具，例如搜索引擎、代码生成器、代码执行器和知识库查询工具。
  • 自动推理引擎 (Automatic Reasoning Engine): 解析 LLM 生成的程序，并根据程序中的工具调用节点自动调用工具。
  • 人类反馈 (Human Feedback): 用户可以添加新的任务和工具到库中，并通过编辑程序来改进性能，并提供调试工具。
• ART 的优势 ：
  • 模块化设计： ART 采用模块化设计，每个模块都独立运作，易于扩展和改进。
  • 灵活性和可扩展性： 用户可以轻松地添加新的任务和工具到库中，并定义相应的程序。
  • 可解释性： 生成的程序使用 PeG 语法，具有明确的结构，易于理解。
  • 人类反馈： 用户可以提供调试和改进意见，使 ART 的性能不断提升。

实验结果：

• 在 BigBench 和 MMLU 基准测试中，ART 在未见过的任务上取得了显著的性能提升，甚至超过了人工编写的 CoT 提示。
• 工具使用在测试任务上平均提高了 12.3 个百分点。
• 通过人类反馈，可以进一步改进 ART 的性能，使其超过 GPT-3 的最佳结果。

结论：

ART 是一个强大的框架，可以显著提高 LLM 在多步推理和工具使用方面的能力。它可以轻松地扩展到新的任务和工具，并通过人类反馈进行改进，为 LLM 的发展和应用开辟了新的可能性。

个人思考：

• ART 框架展示了 LLM 未来的发展方向，即通过结合任务库、工具库和自动推理机制，实现更强大的智能。
• 人类反馈在改进 LLM 性能方面发挥着重要作用，未来需要探索更有效的反馈机制。
• LLM 的应用前景广阔，未来需要在更多领域进行探索和实验。