Open-AutoGLM 概览
Open-AutoGLM 是智谱AI（Zhipu AI）旗下 zai-org 组织开源的 手机端 AI Agent 框架 ，目标是「用自然语言操控手机」。项目在 GitHub 上已获得约 26K Stars，采用 Apache-2.0 许可证。
核心组成
| 组件 | 说明 |
|---|---|
| Phone Agent 框架 | 运行在电脑端的 Python 代码，通过 ADB（Android）或 HDC（鸿蒙）控制设备 |
| AutoGLM-Phone 模型 | 针对手机界面优化的视觉语言模型，有 9B 参数的中文版和多语言版 |
工作原理
系统循环执行以下链路：
- 截图 --- 获取当前手机屏幕
- 视觉理解 --- AutoGLM-Phone 模型解析 UI 元素与界面状态
- 动作规划 --- 生成下一步操作（点击坐标、滑动、输入文字、启动 App 等）
- 执行 --- 通过 ADB/HDC 将动作下发到手机
- 循环 --- 直到任务完成
使用方式
方式一：第三方 API（最快上手）
- 智谱 BigModel：
--base-url https://open.bigmodel.cn/api/paas/v4 --model autoglm-phone - ModelScope：
--base-url https://api-inference.modelscope.cn/v1 --model ZhipuAI/AutoGLM-Phone-9B
无需本地 GPU，适合快速体验。
方式二：本地部署
使用 vLLM 或 SGLang 自行部署模型，数据完全本地，无隐私顾虑。
支持范围
- 系统：Android 7.0+、HarmonyOS NEXT
- 应用 ：覆盖美团、京东、小红书、抖音、飞书、知乎、微博等 50+ 安卓应用 和 60+ 鸿蒙应用
- 安全机制：内置敏感操作确认，登录/验证码场景支持人工接管
生态集成
- Midscene.js：已完成适配，可用 JavaScript/YAML 编写手机自动化脚本，支持 iOS 和 Android
- Open-AutoGLM-SIGI：社区基于 Chaquopy 引擎的纯 Android 端实现，无需电脑/Root，赛博朋克风格 UI
- Open-AutoGLM-Android：另一款社区纯 Android 端客户端
快速开始
bash
# 克隆项目
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
# 安装依赖
pip install -r requirements.txt
pip install -e .
# 连接设备（确保手机已开启 USB 调试）
adb devices
# 运行任务
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 \
--model "autoglm-phone" \
--apikey "your-api-key" \
"打开美团搜索附近的火锅店"项目地址
- 官方仓库：https://github.com/zai-org/Open-AutoGLM
- 模型下载 ：Hugging Face / ModelScope（
ZhipuAI/AutoGLM-Phone-9B）
⚠️ 项目仅供研究与学习使用，严禁用于非法用途。