【论文精读】OS-Copilot: Towards Generalist Computer Agents with Self-Improvement

OS-Copilot: Towards Generalist Computer Agents with Self-Improvement

前言
ABSTRACT
[1 INTRODUCTION](#1 INTRODUCTION)
[2 THE OS-COPILOT FRAMEWORK](#2 THE OS-COPILOT FRAMEWORK)
- [2.1 PLANNER](#2.1 PLANNER)
- [2.2 CONFIGURATOR](#2.2 CONFIGURATOR)
- - [2.2.1 DECLARATIVE MEMORY](#2.2.1 DECLARATIVE MEMORY)
  - [2.2.2 PROCEDURAL MEMORY](#2.2.2 PROCEDURAL MEMORY)
  - [2.2.3 WORKING MEMORY](#2.2.3 WORKING MEMORY)
- [2.3 ACTOR](#2.3 ACTOR)
[3 THE FRIDAY AGENT](#3 THE FRIDAY AGENT)
- [3.1 A RUNNING EXAMPLE](#3.1 A RUNNING EXAMPLE)
- [3.2 SELF-DIRECTED LEARNING](#3.2 SELF-DIRECTED LEARNING)
[4 EXPERIMENTS](#4 EXPERIMENTS)
- [4.1 MAIN RESULTS](#4.1 MAIN RESULTS)
- [4.2 SELF-DIRECTED LEARNING](#4.2 SELF-DIRECTED LEARNING)
[5 RELATED WORK](#5 RELATED WORK)
[6 CONCLUSION](#6 CONCLUSION)
阅读总结

前言

这是第一篇OS智能体框架工作，提出了操作系统上通用且能自我改进的AI助手FRIDAY，这与只能解决简单问题的AI助手Cortana相比有着本质的区别和显著的提升。其github仓库开放一周就收获了600+stars，受到了大量科研人员和科技企业的关注，在业界有着不俗的影响力。文章投稿于ICML 2024，为LLM智能体在OS领域的应用奠定了坚实的基础。

Paper	https://arxiv.org/pdf/2402.07456.pdf
Code	https://github.com/OS-Copilot
From	arXiv 15 Feb 2024

ABSTRACT

与计算机的自动交互一直是长期存在的挑战，最近LLM的发展加速了构建数字智能体的进展。但是现有的智能体交互领域过于局限，比如特定的软件或者网页，这显著限制了对一般计算机任务的适用性。本文提出OS-Copilot，一个用于构建与OS中元素（Web，Code，代码，多媒体和各种第三方应用）交互的通用智能体框架。基于OS-Copilot，作者创建了FRIDAY，一个用于自动化处理计算机任务的自我改进的具身智能体。在通用AI助手benchmark上，FRIDAY相对于之前的方法提升了35%，通过对技能的累积，展现出对未见应用程序的强大泛化能力，定量定性实验在Excel和PPT上展示了FRIDAY的自我改进。OS-Copilot为未来更强大、更通用的计算机智能体奠定了基础，提供了深刻的见解。

1 INTRODUCTION

从1920年的小说《R.U.R》到电影《钢铁侠》中的JARVIS，人们一直梦想着构建数字智能体来自动化日常的工作。然而现有的数字智能体只能处理简单的任务，难以适应复杂的人类需求。幸运的是，LLM的进步让我们更接近实现下一代数字助理。当前的智能体主要关注于特定的场景的应用，比如网络浏览，命令行终端，我的世界游戏等，缺少与整个操作系统进行交互的探索。由于操作系统固有的异构性，开发操作系统级别的语言智能体是一个巨大的挑战，具体有如下两点：

智能体需要一个统一的接口与操作系统交互。
大量不同的应用程序对语言智能体的泛化和可扩展性提出了重大挑战。

为了解决第一个挑战，作者提出OS-Copilot，旨在通过提供通用的交互接口来加速Linux和MacOS上计算机智能体的构建。该通用接口整合了操作系统中常见的操作，包括Python解释器，Bash终端，鼠标键盘输入，API调用等。下表是OS-Copilot的示例用例。

对于第二点挑战，作者基于OS-Copilot创建了FRIDAY，这是一个自我改进的具身智能体，可以无缝集成到OS中自动执行计算机任务。它与现有的通用智能体如AutoGPT不同，它具有自我进化配置器来控制不熟悉的程序。控制器包括一个自主学习模块，可以自主提出不熟悉应用程序的任务课程。FRIDAY通过解决这些任务从而累积工具来学习控制这个程序。图一提供了三个案例，证明通过自主学习，FRIDAY学会了操作Excel并使用前端库ReAct构建了一个网站。

为了系统评估FRIDAY在OS中解决任务的能力，作者在通用AI助手benchmark GAIA上评估了其性能，在最简单的一级任务上，FRIDAY成功率比先前最好的系统提高了35%，甚至在其他模型都无法成功的三级任务中，也取得了6.12%的成功率。作者进一步评估了FRIDAY在Excel中的自主学习能力，起初FRIDAY未能解决任何问题，但是经过自主学习，成功率达到了60%，甚至超过了专门为Excel设计的最先进的模型。

本文的贡献如下：

OS-Copilot是一个开创性概念框架，用于在Linux和MacOS上构建通用计算机智能体，为异构OS系统提供了统一的应用交互。此外，OS-Copilot可以作为一个基础平台，支持个性化数字助理、多模态智能体、特定场景智能体学习等领域的研究。
依托OS-Copilot，作者构建了FRIDAY，一个可以自我提升的AI助理用于解决通用的计算机任务。FRIDAY在benchmark上展示出色的性能，并且在未见的应用上展示了强大的泛化能力。

2 THE OS-COPILOT FRAMEWORK

OS-Copilot的框架如上图所示，收到用户的请求后，planner首先构建计划并将请求分解为子任务，给定一个子任务，配置器维护一个工作存储库，它负责存储检索到的工具，知识，以及任何相关的用于完成任务的信息。基于配置器提供的信息，actor会迭代执行直到子任务完成。特别的，评估模块会根据收集的执行反馈进行自我修复和提升。此外用户可以根据他们的偏好定制智能体。

2.1 PLANNER

planner组件会对用户的请求进行推理分析，然后将复杂的问题进行分解。最重要的是，planner需要拥有以正确的粒度生成计划的能力，为此，它需要检索有关智能体能力的相关信息，例如内部工具和操作系统信息，以协助规划。为了支持不同的规划方法，作者提出了基于有向无环图的planner。

现有的planner，无论是生成线性结构还是非线性结构的计划，本质上都需要智能体按照顺序执行任务，然而现实场景中并行执行任务可以最小化缩短执行时间。为此，作者利用LLM将计划转化为有向无环图，其中每个节点代表一个子任务，箭头表示子任务之间的相互依赖关系，下图是该planner的工作原理以及部分prompt模板。

2.2 CONFIGURATOR

配置器组件从planner组件获取子任务并对其进行配置。配置器的灵感来源于人脑的生物本质，人脑具有工作记忆，陈述性记忆和程序记忆。

2.2.1 DECLARATIVE MEMORY

陈述性或者显式记忆是长期记忆的一个子类别，用于存储事实和事件。本文的陈述性记忆包含两个组件：

用户画像。记录用户的偏好，对话风格，工具使用习惯。
语义知识。存储智能体过去获取的知识（比如系统版本，当前的工作目录），该模块对智能体根据当前环境正确采取行动并从经验中学习至关重要。

2.2.2 PROCEDURAL MEMORY

程序记忆是长期记忆的另一种形式，主要与个人的技能发展有关，一旦学会，程序记忆就会自动执行不涉及用户意识的功能。OS-Copilot的程序记忆主要由作为智能体技能库的工具仓库组成。LLMs虽然可以读写，但是不具备与操作系统交互的能力，因此需要为智能体配备将自然语言转换为操作系统可行操作的工具。作者为OS-Copilot植入了四个手动创建的工具：网页浏览，音频转录，图像caption，网页检索。工具以两种形式存在：部署为API服务以使用POST请求，或者存储为python文件。

2.2.3 WORKING MEMORY

工作记忆是短期记忆，它是OS-Copilot的核心，用于连接planner，配置器和参与者组件。工作记忆通过内部和外部操作与其他模块交换信息：

内部操作：从长期记忆中检索信息并更新，比如检索工具来帮助规划或者自我纠错。
外部操作：工作记忆模块从planner中接收子任务，从陈述性记忆和程序性记忆中收集相关的信息，然后将这些信息提供给actor组件。actor的反馈信息将输入回工作记忆中以进行潜在的修改。

2.3 ACTOR

actor分为两个阶段：执行和自我评判。执行器根据配置器的prompt在OS下执行action，自我批判模块根据执行的结果给出优化的反馈，并将高质量的action保存到长期记忆中。

执行器会根据配置器提供的子任务和预设的prompt，生成可执行的工具类和对应的调用来完成子任务。它提供了封装Python运行、Bash运行、API调用、键鼠控制的接口，涵盖了大部分操作系统的用例。
自我评判模块会收集执行前后全面的系统信息，利用LLM自动评估完成状态。具体来说，它会评判当前子任务是否完成，分析执行报错的原因，以及评估是否需要重新规划子任务。

3 THE FRIDAY AGENT

FRIDAY设计的原则旨在通过赋予智能体自我完善和学习的能力来最大化通用性。本节先用一个例子说明FRIDAY是如何运行的，接着深入研究FRIDAY如何通过自主学习来操作不熟悉的应用程序。

3.1 A RUNNING EXAMPLE

在收到"将系统改为深色模式"的任务后，配置器从长期记忆中检索相关信息来构建prompt，该prompt中包含相关工具、用户配置文件、操作系统版本以及工作目录。由于该任务中没有识别出合适的工具，因此工具生成器将根据prompt（工具prompt和任务相关信息）构建工具类。接着，执行器将生成工具调用并运行工具，执行结果将输入给评判模块，用于评估任务是否完成。评估模块有两个指标，一个是任务是否完成，一个是工具质量得分（1---10分），得分大于等于8分被认为是高质量的工具，会被保存到长期记忆中。如果任务没有完成，那么需要判断错误的类型，是代码本身有错误还是计划有缺陷，如果是代码本身的错误，那么amend模块会根据LLM分析的错误原因对原始代码进行修复（最多尝试三次），否则replan模块会对当前的子任务进行重新的规划，一个常见的示例是缺少相关的依赖包，那么会repaln一个子任务用于安装该依赖包。

3.2 SELF-DIRECTED LEARNING

自我学习是人类获取新信息、学习新技能的关键，FRIDAY也有类似的能力。为了掌握excel的使用，FRIDAY会被提示执行与该目标相关的任务流，从简单再到具有挑战性。在这个过程中，FRIDAY累积有价值的工具，从而学习到使用excel的能力。

4 EXPERIMENTS

FRIDAY在通用AI助手benchmark GAIA上的466个QA问答上进行评估。为了回答相关的问题，智能体需要掌握计算、网页浏览、网页检索、音频转换等能力。

作者采用四个基本的工具初始化FRIDAY，在评估完毕后，又增加了9个工具。LLM采用GPT4-turbo-1106。

baseline采用AutoGPT-4、带有工具的和不带工具的GPT-4，此外作者还引入了人类的表现结果。

4.1 MAIN RESULTS

上表是实验结果，FRIDAY在leve 1上比SOTA高了35%，level 2上提升更甚，即使是难度很大的Level 3，也有6.12%的表现。为了探究FRIDAY有效性的根源，作者对比了FRIDAY和AutoGPT-4，二者在任务分解和存储上有相似之处，但是FRIDAY强调了自我评判和完善的重要性，GPT-4 Plugins优于AutoGPT-4的原因在于它具有能力访问广泛的工具库，而FRIDAY优于GPT-4 Plugins在于OS-Copilot架构的优越性，规划、评判和改进模块将其提升到新的水平。

虽然OS-Copilot中的概念并不都是首次创新出，但是它将这些模块有机结合到一起，通过强有力的实验结果证明架构的有效性，这对未来的相关工作具有指导作用。

通过对比未经学习和经过学习后的FRIDAY，可以看到自我导向学习对最终表现的贡献。当然也正如所见，即使没有自主学习，FRIDAY仍然显著优于所有基线，这进一步凸显了框架和定制设计的有效性。自主学习的结果一方面说明了类似于GAIA这种开放环境的数据集的挑战，也强调了FRIDAY自主设计和使用工具能力在去的显著成功中的关键作用。附录中有细化的效率评估和每个领域能力的评分。

4.2 SELF-DIRECTED LEARNING

本节从定量和定性角度评估FRIDAY的自我导向学习能力。

定量评估在SheetCopilot-20数据集上进行，该数据集包含20个excel操作任务，代表了excel中的典型任务。FRIDAY通过自我指导生成了10个有关excel操作的任务，并且累积了10个工具，如下表所示：

实验结果如上表所示，最初，FRIDAY没有进行自主学习，无法完成任何任务，在编写代码时倾向使用pandas和matplotlib等包进行电子表格操作导致失败。当配备自我学习能力后，FRIDAY性能超过了为excel专门设计的智能体SheetCopilot。值得注意的是，sheetCopilot中所有原子操作和工具都是人工编写的，而FRIDAY是自主生成的，这进一步表明本文构建的通用操作系统智能体可以有效扩展支持各种应用，而不需要人工干涉。

定性分析中，作者设计了一个任务，要求FRIDAY根据文字和图片资料创建PPT来介绍OS-Copilot。任务说明中详述了PPT所需的内容、字体、字号等，构建过程如下图所示：

在没有学习时，FRIDAY很难控制字号、字体以及图片的大小和位置。经过一段时间的学习，FRIDAY掌握了各种文本配置技能，比如字体，字号，颜色，行间距等等，进一步学习还有控制图像大小、图像位置，最终完成任务。所展示的过程证明FRIDAY通过自主学习掌握不熟悉应用程序的能力。下表是学习过程中积累的工具。

由LLM支持的自主智能体或者语言智能体是一个快速发展的研究领域，最近引起了广泛的关注。

语言智能体被设计应用于各个领域，包括机器人，网络操作，游戏等，但是这些智能体都是针对特定环境量身定制的，无法泛化到别的场景。

语言智能体代表了一个复杂的系统，它是由各种组件组成，每个组件都代表了大量值得研究的方向。对于规划组件，它包括任务的分解，推理路径的多样性，是否需要自我评估等。对于记忆组件，又涉及短期记忆和长期记忆，不同的记忆采用不同的工具或者数据结构存储。执行组件的难点在于如何将LLM的输出转化为可执行的操作，并在真实环境中执行，这里又涉及针对执行信息的收集以及纠错。

6 CONCLUSION

本文提出了OS-Copilot，一个用于构建OS级的语言智能体框架。基于该框架，作者开发了具身计算机智能体FRIDAY，它在解决开放环境计算机任务上展现了令人惊叹的性能，此外还展示了其通过自主学习有效学习和控制以前未见过的应用程序的能力。

当然，OS-Copilot还存在一定的局限性，如下所述：

LLM的改变，会对FRIDAY的性能产生巨大的影响。
仅通过代码和自然语言控制计算机是不可行的，因此扩展OS-Copilot以支持视觉输入势在必行。
评估通用的计算机智能体是一个巨大的挑战，因为很多任务的执行缺乏基本事实。
与操作系统的交互必须透明、可解释且安全。如何确保与OS进行交互的系统不会造成任何形式的伤害是一个重大挑战。

阅读总结

本文是真正意义上第一篇开源的与操作系统交互的智能体的工作，也是博主本人的第一篇工作。整个开发的过程是紧张且刺激的，核心的开发周期只有一个半月的时间，再加上一个月的实验，满打满算all in了近三个月的时间，疲惫不堪但收获满满。在开始这个项目之初，团队leader（即一作）就提出以钢铁侠的FRIDAY为工作的最终目标，设计出一个全新的用于与操作系统全方位交互的框架，从而开发出通用的、可以自我学习提升的计算机AI助手。为了设计出合理的框架，让每个模块的组合达到1+1>2的效果，我也是阅读了大量的文献工作，包括并不限于：

ReAct，学习其对任务的走一步看一步的执行形式。
VOYAGER，学习其工具积累的方法。
HuggingGPT，学习其任务规划的设计。
Adapter，学习其replan的思想。
reflexion，学习其基于强化学习思想的纠错和提升模式。

基于对这一系列工作的学习，我逐渐对和OS交互的智能体有了一个比较清晰的认知，对于这样的具身智能体，它首先得有自己的大脑，即LLM，可以是基于API的，也可以是开源的LLM；其次，它得有积累工具和检索工具的能力，那么我就想到了用向量数据库的方式对工具进行存储；最后，它需要拥有与OS交互的接口，而Python是非常出色的交互环境，因此任务的执行都是在Python环境下执行。拥有这三个基本组件后，剩下的就是如何利用这三个组件来开发交互的模块。大方向上的模块有三个，planner，配置器和执行器。三者都会用上LLM，配置器会检索工具，执行器会利用检索工具，没有工具就利用LLM的能力生成工具并在python环境下执行。执行器中有复杂的执行和改进流程，需要对原始代码进行分析才便于解释，如果有朋友看完文章后对代码实现的细节感兴趣，欢迎留言或私信，我将会再出一期博客来对代码进行讲解分析。