分享｜ RL-GPT 框架通过慢agent和快agent结合提高AI解决复杂任务的能力-Arxiv

结论

"RL-GPT: Integrating Reinforcement Learning and Code-as-policy"

RL-GPT 框架为解决大语言模型在复杂任务处理中的难题提供了创新有效的途径，

旨在将强化学习（RL）和代码即策略相结合，

以解决大语言模型（LLMs）在处理复杂逻辑和精确控制方面的局限性。

研究背景

LLMs 能通过编码熟练使用各种工具，但在处理复杂逻辑 和精确控制时存在不足。

在具身任务中，高级规划适合直接编码 ，低级动作则常需像 RL 这样特定任务的优化。

方案

引入两级分层框架 RL - GPT，包含慢智能体和快智能体。

慢智能体分析适合编码的动作，快智能体执行编码任务，这种分工使各智能体专注特定任务，提升效率。

实验结果

该方法优于传统 RL 方法和现有的 GPT 智能体。在 Minecraft 游戏中，使用 RTX3090 显卡能在一天内快速获取钻石，并且在所有指定的 MineDojo 任务中达到了最优性能（SOTA）。

原文链接：

2402.19299 RL-GPT: Integrating Reinforcement Learning and Code-as-policy