a.内容描述
-
核心功能定位:该项目是一个开源的智能GUI代理框架,旨在通过代理-计算机接口实现与计算机的自主交互,构建能够从过往经验中学习并在计算机上自主执行复杂任务的智能GUI代理系统。
-
关键应用场景:该框架适用于需要自动化计算机操作的各种场景,包括但不限于自动化测试、批量任务处理、智能助手等,支持在Android应用市场排名靠前的APP、某知名操作系统等多种环境下运行。
b.功能特性
- 多模型支持:支持Azure OpenAI、Anthropic、Gemini、Open Router和vLLM推理等多种模型提供商
- 跨平台兼容:支持Linux、macOS和Windows操作系统
- 智能交互能力:具备规划、反思、执行等完整的代理能力栈
- 视觉定位功能:集成专门的视觉定位模型用于界面元素识别
- 知识记忆系统:内置知识库和记忆系统,支持从过往经验中学习
- 模块化架构:采用组件化设计,支持灵活的功能扩展
d.使用说明
安装配置
通过pip安装核心包:pip install gui-agents
需要安装额外的OCR依赖:brew install tesseract
API配置
支持环境变量或代码方式配置API密钥,包括OPENAI_API_KEY、ANTHROPIC_API_KEY等。
命令行使用
通过agent_s命令启动代理,需要指定主模型提供商、模型名称、定位模型参数等必需参数。
SDK集成
提供Python SDK支持,可通过导入AgentS3和OSWorldACI类进行编程式集成,支持自定义屏幕分辨率、最大轨迹长度等参数配置。
e.潜在新需求
(1)需求1:用户希望增加对PDF等外部文件的支持,以增强任务上下文理解能力 (2)需求2:用户希望改进多显示器支持,将操作限定在单一显示器范围内 (3)需求3:用户希望增加异步预测功能和流式返回中间结果 (4)需求4:用户希望增强JSON解析的鲁棒性,支持更多输出格式 (5)需求5:用户希望改进定位模型的准确性和性能 (6)需求6:用户希望增加更多本地模型支持,减少对云端API的依赖 (7)需求7:用户希望改进知识库下载和管理的稳定性 (8)需求8:用户希望增强对不同模型提供商嵌入向量的兼容性