标签 :
AutoGLM智谱手机AgentPhoneUseGUI Agent云手机适用读者 :读过 Mika 章或 Personal Agent 系列、想看"厂商路线"的手机 Agent 到底怎么走的工程师与产品经理。
阅读完你将学会:AutoGLM 从 2024-10 发布到 2026-11 的完整演进线;六篇一手文章(技术报告 → AndroidLab → OpenDay 公告 → 沉思 → AutoGLM 2.0 → 开源公告)各自解决什么、又暴露什么;技术报告的两大核心设计(中间接口、自进化课程强化学习);2025-12 开源的纯视觉方案长什么样;以及它和 Mika 这个开源端侧实现的同题不同答。
本篇素材 :一手材料递进调研(2026-11-13 核实)------AutoGLM 技术报告(arXiv 2411.00820)、AndroidLab 论文(arXiv 2410.24024)、智谱官方公告 AutoGLM开源:每台手机,都可以成为AI手机、Agent OpenDay 新进展、CogAgent-9B 开源、Open-AutoGLM 仓库与 HuggingFace 模型卡。媒体来源仅作旁证、单独标注。
一、它是什么,为什么值得拆
先看它 2024 年 10 月第一次露面时干的事。你对智谱清言 App 说一句论文里的原始指令:
"Please Order a large iced Americano with half sugar from the nearest coffee shop for delivery to my company"(从最近的咖啡店点一杯大杯冰美式,半糖,送到公司)
它自己打开美团、搜到最近的咖啡店、选好半糖、下单------全程替你点屏幕。这就是 AutoGLM:智谱 AI(Zhipu AI,清华系)出品的 Phone Use 智能体 (Phone Use = 替人操作手机这个能力,业界后来通用这个名字)。官方后来回溯时的自我定位是:"2024 年 10 月 25 日,我们发布了第一个能够在真机上稳定完成一条完整操作链路的 AutoGLM,它被业内视为全球首个具备 Phone Use 能力的 AI Agent"(官方研究页,"全球首个"是官方自称)。
为什么值得单独拆一讲?因为它是 Mika 章的对照组 。Mika 章拆的是个人开源项目:模型用户自带、在你自己的手机上开一块虚拟屏干活。AutoGLM 面对的是同一个问题------让模型看懂屏幕、替人操作 App------但它是厂商标准答案:自研专用模型、云端托管、两年里换了三次形态。同一个考题,两份答卷放在一起读,比单独读任何一份都有收获。
读法也和 Mika 章不一样。Mika 是开源项目,可以逐行读源码;AutoGLM 的开源要分三段说清楚:前半程零代码 ------2024 年技术报告承诺的代码仓库始终没上线(THUDM/AutoGLM 至今 404,2026-11-13 核实);2025-12-08 官方以"AutoGLM 开源"为名放出了能力 ------AutoGLM-Phone-9B 模型(MIT 许可)+ Open-AutoGLM 框架(Apache-2.0,第六节细拆);商业产品壳始终没开 ------智谱清言 App 里的 AutoGLM、2.0 的独立 App 与云端手机,代码一行没放。所以读懂它靠的主要不是源码,而是一条罕见的完整的文章递进链:一篇技术报告、一篇配套 benchmark 论文、四次官方公告、一次开源。这六篇东西不是各说各话,而是一篇接一篇------每一篇都在解决上一篇暴露的麻烦。本讲就顺着这条链读。
出发前先记住一句话,它是全文的底:AutoGLM 两年做的所有事,都在回答同一个问题------让模型替人操作手机这条路,商业化到底怎么走通。
二、递进总图:六篇文章一条线
先把整条时间线铺开(全部日期经一手来源核实):
#mermaid-svg-WEIJm2qH7r1pf2Yw{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-WEIJm2qH7r1pf2Yw .error-icon{fill:#552222;}#mermaid-svg-WEIJm2qH7r1pf2Yw .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-WEIJm2qH7r1pf2Yw .marker{fill:#333333;stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .marker.cross{stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-WEIJm2qH7r1pf2Yw p{margin:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label text{fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label span{color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label span p{background-color:transparent;}#mermaid-svg-WEIJm2qH7r1pf2Yw .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw span{fill:#333;color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node rect,#mermaid-svg-WEIJm2qH7r1pf2Yw .node circle,#mermaid-svg-WEIJm2qH7r1pf2Yw .node ellipse,#mermaid-svg-WEIJm2qH7r1pf2Yw .node polygon,#mermaid-svg-WEIJm2qH7r1pf2Yw .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .rough-node .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label{text-anchor:middle;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .rough-node .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label{text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node.clickable{cursor:pointer;}#mermaid-svg-WEIJm2qH7r1pf2Yw .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .arrowheadPath{fill:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster text{fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster span{color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-WEIJm2qH7r1pf2Yw .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw rect.text{fill:none;stroke-width:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape p,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label rect,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-WEIJm2qH7r1pf2Yw :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} ① 2024-10-25
AutoGLM 发布
安卓限量内测
- 清言浏览器插件
② 2024-10-28
技术报告
立方法论:中间接口
- WebRL 自进化 RL
③ 2024-10-31
AndroidLab 论文
打地基:138 题可复现
评测 + SFT 数据
④ 2024-11-28
Agent OpenDay
50+ 步长程、跨 App
百万内测 + GLM-PC
⑤ 2025-03-31
AutoGLM 沉思
加脑:GLM-Z1 反思
边想边干
⑥ 2025-08-20
AutoGLM 2.0
换身:云端专属
智能体手机/电脑
⑦ 2025-12-08
开源 AutoGLM-Phone-9B
交钥匙:纯视觉端侧
模型 MIT + 框架开源
每一步"解决了什么、又暴露了什么",一张表看全(后四列是各讲展开的索引):
| 文章/公告 | 解决了什么 | 暴露/留下什么 | 本讲小节 |
|---|---|---|---|
| ① 发布(2024-10-25) | 产品形态跑通:真机完整操作链路 | 只支持 8 款 App、限量内测、成功率未知 | 一 |
| ② 技术报告(2024-10-28) | 方法论:规划与定位分离、数据自造 | 评测全靠自报,别人无法复现验证 | 三 |
| ③ AndroidLab(2024-10-31) | 可复现评测 + 训练底座,开放给全行业 | 只覆盖 9 个离线小 App,离"真生活"远 | 四 |
| ④ OpenDay(2024-11-28) | 长程(50+ 步)、跨 App、百万内测 | 占用户手机、不能常驻;能力延伸到电脑(GLM-PC) | 五 |
| ⑤ 沉思(2025-03-31) | 加"脑":先反思研究再动手 | 执行还是在用户设备上 | 五 |
| ⑥ AutoGLM 2.0(2025-08-20) | 换"身":云端专属手机/电脑,24 小时不打扰用户 | 成本自担;微信等隐私 App 依然不碰 | 五 |
| ⑦ 开源(2025-12-08) | 交"钥匙":模型 MIT 开源、框架纯视觉,端侧回归 | 官方未公布公开 benchmark 分数 | 六 |
后文每一节回到那条链上,贯穿例子始终是开头那杯半糖冰美式。
三、第一篇:技术报告,把"点按钮"拆成两件事(2024-10-28)
技术报告《AutoGLM: Autonomous Foundation Agents for GUIs》(arXiv 2411.00820,v1 提交于 2024-10-28,30 位作者,智谱 AI + 清华大学)是整条链的起点。它交代了三件事:产品形态、两个核心设计、四组成绩单。
产品形态:一半公开、一半内测。 摘要原话:"Select AutoGLM capabilities are now available through the Qingyan Browser Plugin for web applications and via Form Applications for invited Android testing"------网页侧以"智谱清言"浏览器插件公开上线(Chrome/Edge 商店可装,AutoGLM-Web),手机侧是安卓表单申请制内测 。手机端的实现通道,论文只写了一句:"We have also implemented a practical Android application via AccessibilityService"------基于无障碍服务(安卓为残障辅助工具提供的系统接口,能读到屏上每个控件的类型和文字)。至于它到底用截图还是控件树看屏幕、怎么发点击,论文一个字没写;这些细节要到一年后的开源仓库才揭晓(第六节)。
核心设计一:中间接口------规划的人和定位的人分开干。 这是论文的第一个洞察:"the design of an appropriate 'intermediate interface' for GUI control is crucial, enabling the separation of planning and grounding behaviors"------规划和定位(grounding,把"那个按钮"落到屏幕坐标上)是两种能力:规划要灵活、会纠错,定位要精准、不出偏。分离开之后,模型之间的接口长这样(论文原文示例):
# Planner(规划者)
do(action="Click", element_description="the 'Submit' button on the bottom right")
# Grounder(定位者)
find_coordinates_by_instruction(...)
# 输出:[823, 684]
放到冰美式的例子上:规划者决定"打开美团→搜咖啡店→选半糖→下单"这条链,定位者只回答"半糖那个选项在屏幕哪个坐标"。这么拆的直接好处是数据 :定位数据"可以从环境的无监督观察里自动海量构造"(论文原话),不用人一条条标。效果有多硬?接口一换,同一个模型的成绩直接跳档(VAB-WebArena-Lite 上):gpt-4o 文本模式 14.3%→18.1%,gpt-4o 视觉模式 18.2%→27.3%,gpt-4-vision 18.8%→36.4%。模型没动,只是换了模型和数据之间的"插座",最多涨 17.6 个点。
核心设计二:WebRL------任务不够,就自己造。 第二个洞察针对训练的老大难:能拿来练手的高质量任务数据太少------论文把它列为两大难点之一,名字就叫 Task Data Scarcity(任务数据稀缺)。论文自述为此开发了"自进化在线课程强化学习"框架 WebRL(单独成文,arXiv 2411.02337),跑在 actor-critic 框架上------一个"演员"负责出手做任务,一个"裁判"负责打分把关。循环分三步:
- 起步:约 1,000 条数据开张。 行为克隆(BC,Behavior Cloning:拿人的操作轨迹做监督微调,教模型模仿)打底,数据来自 VisualAgentBench,只够把 GLM-4-9B 初始化到 22.4% 成功率------起点不高,看点在后面能不能滚起来;
- 进化:只变异失败的指令。 让模型在线试错(roll-out:真去把任务做一遍),没做成的指令被自动改写------往更难、更简单两个方向变,改写结果先过裁判(critic)的筛子,合格的才进下一轮训练。为什么只对失败动手?论文没展开,但不难读:失败正说明难度不匹配,这批指令是校准难度最值钱的原料------课程表因此始终贴着模型能力的边缘出题,论文称之为"由弱到强、在线进行"的课程(往难改还是往简单改、各占多少,论文未细说);
- 防漂移:两只手拽住策略。 迭代训练最容易翻车在策略越滚越偏。WebRL 两手一起上:KL 约束的策略更新------限制每步更新的幅度,不许新策略一下偏离老策略太远;按置信度过滤的经验回放------把练过的轨迹存下来复用,但只回放演员当时有把握的部分。论文的消融实验(ablation:把某项设计拆掉看掉多少分)证明这两只手缺一不可,去掉就难有稳定的逐轮提升。
滚到头是多少?同一榜单 VAB-WebArena-Lite:起步 22.4%,一路滚到 55.2%------正是下面成绩单第一行那个数。一句话:课程表不是人排的,是模型自己滚出来的。
四组成绩单(全部出自论文,标注对比基准):
| 评测 | AutoGLM | 对比 | 说明 |
|---|---|---|---|
| VAB-WebArena-Lite(网页) | 55.2%(二次尝试 59.1%) | GPT-4o 18.2% | 165 题精校子集 |
| OpenTable 真网站人工评测 | 96.2% | GPT-4o 62.6%、Agent Q 81.7% | 真实订餐网站 |
| AndroidLab(手机,即 VAB-Mobile) | 36.2% | GPT-4o 31.2%、Claude-3.5-Sonnet 29.0% | 下一篇论文的主场 |
| 7 个中文 App 真机人工评测 | 89.7% | --- | 微信、美团、淘宝、大众点评、高德、小红书、12306 |
最后一行值得多看一眼:这是论文里最"生活"的评测------真手机、真 App、真人判卷,考题就是"在 Alice 最新的朋友圈下点赞""从最近的咖啡店点半糖椰拿""订周六珠海到广州的票"这一类。论文也诚实承认了边界:"While currently, it is unable to solve all tasks perfectly, unfinished tasks are able to be half completed"------办不成的事也能办一半,仍算实际帮上手。顺带一提:这篇论文没有 Limitations 一节,上面这句是最接近"承认局限"的原文。
技术报告立住了方法论,但留了一个明显的口子:这些数字都是自报的,别人没法复现验证。三天后,配套的地基论文来了。
四、第二篇:AndroidLab,给全行业打地基(2024-10-31)
AndroidLab(《AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents》,v1 提交 2024-10-31,清华为第一单位,智谱在致谢中赞助了算力与标注成本)和 AutoGLM 报告是同团队先后脚:AutoGLM 把它当手机端评测底座用(论文里称 VAB-Mobile,36.2% 那个数字就出在这),AndroidLab 则把整个评测和训练环境开放成了公共品。
它解决了"手机 Agent 评测不可复现"这个当时全行业的痛:
- 环境可复现:预打包的安卓虚拟机镜像(AVD),ADB 控制(Android Debug Bridge,电脑往手机发指令的标准通道),时间与地理位置固定------任何人跑同一道题,看到的是同一个世界;
- 题目成套 :138 道任务 = 93 道操作题 + 45 道查询题,覆盖 9 个可完全离线运行的 App(日历、时钟、通讯录、地图、设置等),不碰真实账号、不产生真实扣费;
- 数据开放:Android Instruct 数据集,10.5k 条轨迹、94.3k 步;其中用于微调的子集 726 条轨迹、6,208 步。
训练部分只做了一件事:SFT(监督微调),没有 RL、没有 DPO。做法直白:拿 Android Instruct 里用于微调的 726 条轨迹,给几个开源模型(权重公开、任何人都能下载来改造的模型)各自微调一遍,再上 138 道题重新考一次,前后成绩放在一张表里(观察方式按模型类型分两种:纯文字模型读 XML 格式的屏幕信息,能看图的模型读加了编号标注的截图,即 SoM 模式):
| 模型 | 微调前 | 微调后 |
|---|---|---|
| GLM4-9B-Chat | 7.25% | 21.01% |
| LLaMA3.1-8B | 2.17% | 23.91% |
| Qwen2-7B | 4.35% | 19.57% |
| 上面三个的平均 | 4.59% | 21.50% |
| 看图模型平均(CogVLM2、Qwen2-VL-7B 等,SoM 模式) | 1.93% | 13.28% |
微调前,这些开源模型的成绩全是个位数------二十个任务成一个都难;几百条轨迹喂下去,普遍翻到四五倍。数字背后的信息比数字本身重要:在离线可复现的环境里,几百条轨迹就能把一个几乎不会用手机的模型教到勉强能用 ------这给了全行业(包括竞品)一条可信的改进路径。环境、benchmark、数据集都开在 THUDM/Android-Lab。
回到递进链:论文给了方法,AndroidLab 给了尺子,产品该提速了。
五、中间两跳:加脑与换身(2024-11 → 2025-08)
接下来一年,产品线连跳三步。这一段的主角是三份官方公告。
第一跳(2024-11-28,Agent OpenDay):长程、跨 App、百万内测。 官方公告的原话:"AutoGLM 可以自主执行超过 50 步的长步骤操作,也可以跨 app 执行任务";同场宣布"AutoGLM 启动大规模百万内测"(注意:这仍是内测,不是全量------"11 月底全量开放"的网络说法与官方原文不符)。同一天还干了两件影响后面走向的事:GLM-PC 首发内测("像人一样操作计算机",基于视觉模型 CogAgent,手机的能力延伸到电脑);提出 GLM-OS(以大模型为内核的操作系统)概念和"10 个亿级 APP 免费 Auto 升级"计划。也是在这个月,官方回溯页记了一笔有画面感的事:2024 年 11 月,AutoGLM 发出了"首个手机红包"。
配套的模型动作一个月后跟上:2024-12-30,CogAgent-9B-20241220 开源(GLM-PC 的基座,从 GLM-4V-9B 训练而来)。这个模型卡上有一句当时不显眼、后来变成主线的话:"该模型仅需屏幕截图作为输入(无需 HTML 等文本表征)"------纯截图、不要网页结构化文本。记住这句,第六节它会回来。2025-01-23,GLM-PC 1.1 加"深度思考"模式开放体验(比 OpenAI 发布 Operator 还早一天,被媒体称"抢跑")。
第二跳(2025-03-31,AutoGLM 沉思):加脑。 在中关村论坛发布的 AutoGLM 沉思,定位"集深度研究与实际操作能力于一体"------先用 GLM-Z1 系列推理模型想清楚 (反思、拆解、查资料),再用 AutoGLM 动手。新华社通稿给出的技术栈是四层叠加:"融合了 GLM-4 的通用能力、GLM-Z1 的反思能力、GLM-Z1-Rumination 的沉思能力,以及 AutoGLM 的自动执行能力",免费不限量开放。两周后(2025-04-14),这条线的 32B 模型(含 AutoGLM-Model-32B-0414)全部开源。冰美式的例子在这一步变成了:"帮我研究一下公司附近哪家咖啡店性价比高,顺便下单"------先搜、比、想,再点。
第三跳(2025-08-20,AutoGLM 2.0):换身。 这次是整条产品线最大的一次架构转向:为每位用户在云端部署一台专属"智能体手机"和"智能体电脑",AI 远程操作云设备干活。App Store 现行描述写得很直白:"所有任务都在云端执行,不占用你的手机或电脑资源";官方称 24 小时独立运行、不打断用户操作,由 GLM-4.5 与 GLM-4.5V 驱动,独立 iOS App 于 2025-08-19 上架(App Store 版本记录;科技日报报道)。
为什么从"操作你的手机"换成"操作云端的手机"?官方公告没有解释原因。 但对照端侧路线的三个固有麻烦,这个转向不难读:一是端侧操作要占用户正在用的手机(Mika 用虚拟屏绕开它,代价是复杂的系统权限);二是常驻任务(定时、长程)需要设备一直可用;三是真机自动化操作容易触发 App 风控、伤到用户自己的账号。云手机三个全解------代价是算力成本自担,以及隐私敏感的 App(微信)依然不能碰。这是本讲的解读,不是官方陈述。
到这里,商业产品走到了"云端托管"的形态。但故事还有最后一跳,也是最重的一步:把能力本身开源出去。
六、第三篇落地:2025-12 开源,纯视觉 + 交钥匙
2025-12-08,官方公告《AutoGLM开源:每台手机,都可以成为AI手机》发布(GitHub 仓库同日创建,Open-AutoGLM)。开源分两半:
一半是模型:AutoGLM-Phone-9B。 中文优化版 + 多语言版(AutoGLM-Phone-9B-Multilingual)两个模型,从 GLM-4.1V-9B-Base 微调而来,"模型结构与 GLM-4.1V-9B-Thinking 相同",约 10.3B 参数,MIT 许可 (HuggingFace 模型卡)。商用无限制,这是"交钥匙"里最实的一把。
另一半是框架:Open-AutoGLM。 代码 Apache-2.0,README 自述工作循环是:截图 → 视觉模型理解界面 → 输出点击坐标 → ADB 执行 → 循环。三个细节值得停一停:
- 不用无障碍树,纯截图视觉方案 ------README 明说以多模态方式理解屏幕内容,不依赖控件树。这正好接上第五节埋的那句伏笔:从 CogAgent 的"仅需截图",到 Phone-9B 的纯视觉,智谱的感知路线两年走完了从"读控件"到"看图"的切换。旁证是 GLM-4.1V 系列技术报告(arXiv 2507.01006)里的 AndroidWorld 成绩:9B 模型 41.7 分、GLM-4.5V 57.0 分(对比 Qwen2.5-VL-72B 的 35.0)------纯视觉路线的天花板还在快速抬高。
- 覆盖面:Android 7.0+(ADB)、鸿蒙 NEXT+(HDC)、甚至 iPhone(WebDriverAgent,经 Midscene.js 适配);官方称覆盖 50+ 高频中文 App、60+ 鸿蒙应用。
- 安全机制一句话带过:"内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管"------和 Mika 章拆的审批体系比,粒度粗得多(Mika 是"同意只放行紧接着那一个动作、付款永不放行")。
开源公告里还有两句立场鲜明的话,值得原文引用:"我们主动放弃了操作微信等这些离用户隐私较近的 APP";"数据与隐私,永远留在使用方这一侧"。技术背景是 MobileRL(arXiv 2509.18119,在上千个虚拟设备环境里同时做强化学习),公告里另提到 ComputerRL、AgentRL 算法------但都是定性描述。一个事实纪律的提醒:官方从未公布 AutoGLM-Phone-9B 在 AndroidWorld 等公开 benchmark 上的分数,网络上流传的"AutoGLM-bench"查无官方实体(GitHub 404、论文与项目主页均无此词),引用时需留意。
仓库热度:26,582 star、4,068 fork(GitHub API,2026-11-13 查看;最后 push 2026-03-06)。
至此六篇读完。回头看这杯冰美式都经历了什么:技术报告时代,它是 Planner/Grounder 分离的演示题;AndroidLab 时代,它变成 138 道可复现考题的同款;2.0 时代,它在一台你看不见的云手机上下单;开源之后,任何一个团队拿 MIT 许可的 9B 模型看截图、点坐标,也能复刻这杯咖啡。
七、对照 Mika:同一道题的两份答卷
把 AutoGLM 和 Mika 并排放,六个维度全部相反,但每一对"相反"都能互相解释:
| 维度 | AutoGLM(厂商线) | Mika(开源端侧线) |
|---|---|---|
| 看屏 | 纯截图视觉,一层(Phone-9B) | 无障碍树 → OCR → 看图,三层降级(第 2 讲) |
| 动手 | 云手机(2.0)或 ADB 控制真机(开源版,模型跑在电脑上) | 用户手机上的虚拟屏 + 无线调试 shell 助手 |
| 模型 | 自研专用模型(Phone-9B,MIT 开源) | 用户自带 Key,四协议接任意厂商 |
| 安全 | 敏感操作确认 + 人工接管 + 主动不碰微信 | 唯一执行入口 + 审批卡 + 付款永不放行(第 4 讲) |
| 常驻 | 云手机 24 小时独立运行 | 手机前台服务,锁屏即停 |
| 商业 | 厂商托管订阅,能力本身商品化 | 无服务器、不收钱 |
最有意思的是最后两行背后的两个不同的问题 。Mika 章反复回答的是:"怎么让一个会出错的模型,安全地在一部别人正在用的 手机上办事"------所以它有审批卡、有虚拟屏、有在场判定。AutoGLM 回答的是:"怎么让一个会出错的模型,规模化地替一百万个用户办事"------所以它走向云手机(风控伤不到用户账号)、专用模型(可控可优化)、开源商品化(把市场做大)。问题不同,答案自然不同;两份答卷不存在谁对谁错,只存在你在哪个约束下做事。
国内 Personal Agent 课当时下过一个判断:"开源是最狠的一步:把'操作手机'的能力商品化,逼所有对手往平台关系和体验上卷。"2025-12 这一步落地,判断兑现。
八、2026-11 的现状:三条线并行
截至本讲调研日(2026-11-13),AutoGLM 这个名字下实际跑着三条产品线:
- 独立 App (AutoGLM,iOS/安卓/网页):仍是 2.0 的云设备架构,最新版 2.0.20(2026-07-09)新增了 AutoClaw 移动端入口------手机 Agent 的本体;
- 网页版"超级报告助手"(autoglm.zhipuai.cn):深度搜索 + 专业网站抓取 + 生成结构化报告/PPT------"沉思"一脉的落地形态,Phone Use 让位于深度研究;
- AutoClaw(澳龙)(autoclaw.zhipuai.cn):官网自述"国内首款一键安装的本地 OpenClaw 客户端,内置 50+ Skills,集成 AutoGLM 浏览器操作能力"------AutoGLM 的执行能力被拆出来,装进了本地龙虾的壳里。
两条规律从这条现状里浮出来。其一,钟摆:端 → 云 → 端。 2024 年在用户手机上跑(无障碍服务),2025 年搬进云手机,2025-12 又用开源把能力送回端侧------但回归的端侧已不是原样:感知从控件树换成了纯视觉,部署从 App 换成了"电脑 + ADB"的工程形态。其二,感知路线的世代交替基本完成。 2024 年产品靠无障碍服务,行业普遍"控件树优先";到 2025-12,连最早用无障碍服务的智谱自己,开源方案也整体切到了纯截图视觉。Mika 式的"三层降级"(能用控件树就用、不行再看图)是这场交替里端侧小团队的务实解,而大厂用模型能力硬吃下了"看图"这条路。
九、课程小结
- AutoGLM 是智谱 + 清华的 Phone Use 智能体:2024-10-25 发布(安卓内测 + 清言插件),官方自称全球首个具备 Phone Use 能力的 AI Agent;
- 六篇一手文章构成递进链:技术报告立方法论(中间接口分离规划/定位 + WebRL 自进化课程 RL)→ AndroidLab 打可复现地基(138 题 + SFT 数据全开放)→ OpenDay 产品提速(50+ 步、跨 App、百万内测)→ 沉思加脑(GLM-Z1 反思)→ 2.0 换身(云端专属手机/电脑)→ 2025-12 开源交钥匙;
- 感知路线两年从"无障碍服务"走到"纯截图视觉"(CogAgent"仅需截图"→ Phone-9B 纯视觉方案),是行业世代交替的缩影;
- 2.0 云手机解掉端侧三麻烦(占用设备/无法常驻/风控伤账号),代价是成本自担、隐私 App 不碰------此为本讲解读,官方未解释转向原因;
- 与 Mika 对照:一个回答"怎么安全地在别人手机上办事",一个回答"怎么规模化替百万人办事"------六维全反、各有其理;官方未公布 Phone-9B 公开 benchmark 分数,引用网络数字需谨慎。
思考题
- 中间接口设计让同一个模型最多涨 17.6 个点。如果让你为"跨 App 订票"任务设计 Planner/Grounder 的接口,
element_description该携带哪些信息才能让定位者不依赖具体 App? - AutoGLM 2.0 用云手机绕开"占用用户设备"的麻烦,Mika 用虚拟屏绕开同一个麻烦。两种解法各自把复杂性转移到了哪里?哪种更难被 App 风控识别?
- 智谱开源 Phone-9B 时"主动放弃操作微信"。如果开源模型不主动放弃,生态里会发生什么?这个"放弃"是技术判断还是商业判断?
延伸阅读
论文(一手)
- AutoGLM: Autonomous Foundation Agents for GUIs(arXiv 2411.00820,2024-10-28) | HTML 全文 | 项目主页
- AndroidLab(arXiv 2410.24024) | THUDM/Android-Lab 仓库
- WebRL(arXiv 2411.02337,自进化课程 RL 框架原文) | MobileRL(arXiv 2509.18119)
- GLM-4.1V-Thinking 技术报告(arXiv 2507.01006,AndroidWorld 分数出处)
官方公告(一手)
- AutoGLM开源:每台手机,都可以成为AI手机(zhipuai.cn 研究页,2025-12-08)
- Agent OpenDay 新进展(2024-11-28) | CogAgent-9B 开源(2024-12-30)
- Open-AutoGLM 仓库 | AutoGLM-Phone-9B 模型卡 | AutoGLM-Phone API 文档
媒体旁证(二手)
- 36氪:智谱AI上线最新"自主智能体"(2024-10-25) | 科技日报:智谱发布手机智能体 AutoGLM 2.0(2025-08-20) | 中关村论坛·新华社通稿:AutoGLM 沉思发布(2025-03-31)
本仓库关联课程
- Mika 章·第 1 讲:全景与总体架构(开源端侧对照组)
- 国内 Personal Agent 深度解读("开源是最狠的一步"判断的出处)