Open-AutoGLM 手机端 AI Agent 框架用自然语言操控手机

Open-AutoGLM 概览

Open-AutoGLM 是智谱AI（Zhipu AI）旗下 zai-org 组织开源的 手机端 AI Agent 框架 ，目标是「用自然语言操控手机」。项目在 GitHub 上已获得约 26K Stars，采用 Apache-2.0 许可证。

核心组成

组件	说明
Phone Agent 框架	运行在电脑端的 Python 代码，通过 ADB（Android）或 HDC（鸿蒙）控制设备
AutoGLM-Phone 模型	针对手机界面优化的视觉语言模型，有 9B 参数的中文版和多语言版

工作原理

系统循环执行以下链路：

截图 --- 获取当前手机屏幕
视觉理解 --- AutoGLM-Phone 模型解析 UI 元素与界面状态
动作规划 --- 生成下一步操作（点击坐标、滑动、输入文字、启动 App 等）
执行 --- 通过 ADB/HDC 将动作下发到手机
循环 --- 直到任务完成

使用方式

方式一：第三方 API（最快上手）

智谱 BigModel：--base-url https://open.bigmodel.cn/api/paas/v4 --model autoglm-phone
ModelScope：--base-url https://api-inference.modelscope.cn/v1 --model ZhipuAI/AutoGLM-Phone-9B

无需本地 GPU，适合快速体验。

方式二：本地部署

使用 vLLM 或 SGLang 自行部署模型，数据完全本地，无隐私顾虑。

支持范围

系统：Android 7.0+、HarmonyOS NEXT
应用：覆盖美团、京东、小红书、抖音、飞书、知乎、微博等 50+ 安卓应用 和 60+ 鸿蒙应用
安全机制：内置敏感操作确认，登录/验证码场景支持人工接管

生态集成

Midscene.js：已完成适配，可用 JavaScript/YAML 编写手机自动化脚本，支持 iOS 和 Android
Open-AutoGLM-SIGI：社区基于 Chaquopy 引擎的纯 Android 端实现，无需电脑/Root，赛博朋克风格 UI
Open-AutoGLM-Android：另一款社区纯 Android 端客户端

快速开始

bash 复制代码

# 克隆项目
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

# 安装依赖
pip install -r requirements.txt
pip install -e .

# 连接设备（确保手机已开启 USB 调试）
adb devices

# 运行任务
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model "autoglm-phone" \
  --apikey "your-api-key" \
  "打开美团搜索附近的火锅店"

项目地址

官方仓库：https://github.com/zai-org/Open-AutoGLM
模型下载 ：Hugging Face / ModelScope（ZhipuAI/AutoGLM-Phone-9B）

⚠️ 项目仅供研究与学习使用，严禁用于非法用途。

Open-AutoGLM 手机端 AI Agent 框架 用自然语言操控手机