AutoGLM 两年演进深度解读:一篇讲透智谱的手机 Agent 路线

标签 :AutoGLM 智谱 手机Agent PhoneUse GUI Agent 云手机

适用读者 :读过 Mika 章或 Personal Agent 系列、想看"厂商路线"的手机 Agent 到底怎么走的工程师与产品经理。

阅读完你将学会:AutoGLM 从 2024-10 发布到 2026-11 的完整演进线;六篇一手文章(技术报告 → AndroidLab → OpenDay 公告 → 沉思 → AutoGLM 2.0 → 开源公告)各自解决什么、又暴露什么;技术报告的两大核心设计(中间接口、自进化课程强化学习);2025-12 开源的纯视觉方案长什么样;以及它和 Mika 这个开源端侧实现的同题不同答。

本篇素材 :一手材料递进调研(2026-11-13 核实)------AutoGLM 技术报告(arXiv 2411.00820)、AndroidLab 论文(arXiv 2410.24024)、智谱官方公告 AutoGLM开源:每台手机,都可以成为AI手机、Agent OpenDay 新进展、CogAgent-9B 开源、Open-AutoGLM 仓库与 HuggingFace 模型卡。媒体来源仅作旁证、单独标注。


一、它是什么,为什么值得拆

先看它 2024 年 10 月第一次露面时干的事。你对智谱清言 App 说一句论文里的原始指令:

"Please Order a large iced Americano with half sugar from the nearest coffee shop for delivery to my company"(从最近的咖啡店点一杯大杯冰美式,半糖,送到公司)

它自己打开美团、搜到最近的咖啡店、选好半糖、下单------全程替你点屏幕。这就是 AutoGLM:智谱 AI(Zhipu AI,清华系)出品的 Phone Use 智能体 (Phone Use = 替人操作手机这个能力,业界后来通用这个名字)。官方后来回溯时的自我定位是:"2024 年 10 月 25 日,我们发布了第一个能够在真机上稳定完成一条完整操作链路的 AutoGLM,它被业内视为全球首个具备 Phone Use 能力的 AI Agent"(官方研究页,"全球首个"是官方自称)。

为什么值得单独拆一讲?因为它是 Mika 章的对照组 。Mika 章拆的是个人开源项目:模型用户自带、在你自己的手机上开一块虚拟屏干活。AutoGLM 面对的是同一个问题------让模型看懂屏幕、替人操作 App------但它是厂商标准答案:自研专用模型、云端托管、两年里换了三次形态。同一个考题,两份答卷放在一起读,比单独读任何一份都有收获。

读法也和 Mika 章不一样。Mika 是开源项目,可以逐行读源码;AutoGLM 的开源要分三段说清楚:前半程零代码 ------2024 年技术报告承诺的代码仓库始终没上线(THUDM/AutoGLM 至今 404,2026-11-13 核实);2025-12-08 官方以"AutoGLM 开源"为名放出了能力 ------AutoGLM-Phone-9B 模型(MIT 许可)+ Open-AutoGLM 框架(Apache-2.0,第六节细拆);商业产品壳始终没开 ------智谱清言 App 里的 AutoGLM、2.0 的独立 App 与云端手机,代码一行没放。所以读懂它靠的主要不是源码,而是一条罕见的完整的文章递进链:一篇技术报告、一篇配套 benchmark 论文、四次官方公告、一次开源。这六篇东西不是各说各话,而是一篇接一篇------每一篇都在解决上一篇暴露的麻烦。本讲就顺着这条链读。

出发前先记住一句话,它是全文的底:AutoGLM 两年做的所有事,都在回答同一个问题------让模型替人操作手机这条路,商业化到底怎么走通。

二、递进总图:六篇文章一条线

先把整条时间线铺开(全部日期经一手来源核实):
#mermaid-svg-WEIJm2qH7r1pf2Yw{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-WEIJm2qH7r1pf2Yw .error-icon{fill:#552222;}#mermaid-svg-WEIJm2qH7r1pf2Yw .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-WEIJm2qH7r1pf2Yw .marker{fill:#333333;stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .marker.cross{stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-WEIJm2qH7r1pf2Yw p{margin:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label text{fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label span{color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster-label span p{background-color:transparent;}#mermaid-svg-WEIJm2qH7r1pf2Yw .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw span{fill:#333;color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node rect,#mermaid-svg-WEIJm2qH7r1pf2Yw .node circle,#mermaid-svg-WEIJm2qH7r1pf2Yw .node ellipse,#mermaid-svg-WEIJm2qH7r1pf2Yw .node polygon,#mermaid-svg-WEIJm2qH7r1pf2Yw .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .rough-node .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label text,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label{text-anchor:middle;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .rough-node .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label,#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label{text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node.clickable{cursor:pointer;}#mermaid-svg-WEIJm2qH7r1pf2Yw .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .arrowheadPath{fill:#333333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster text{fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw .cluster span{color:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-WEIJm2qH7r1pf2Yw .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-WEIJm2qH7r1pf2Yw rect.text{fill:none;stroke-width:0;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape p,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-WEIJm2qH7r1pf2Yw .icon-shape .label rect,#mermaid-svg-WEIJm2qH7r1pf2Yw .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WEIJm2qH7r1pf2Yw .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-WEIJm2qH7r1pf2Yw .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-WEIJm2qH7r1pf2Yw :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} ① 2024-10-25

AutoGLM 发布

安卓限量内测

  • 清言浏览器插件
    ② 2024-10-28

技术报告

立方法论:中间接口

  • WebRL 自进化 RL
    ③ 2024-10-31

AndroidLab 论文

打地基:138 题可复现

评测 + SFT 数据
④ 2024-11-28

Agent OpenDay

50+ 步长程、跨 App

百万内测 + GLM-PC
⑤ 2025-03-31

AutoGLM 沉思

加脑:GLM-Z1 反思

边想边干
⑥ 2025-08-20

AutoGLM 2.0

换身:云端专属

智能体手机/电脑
⑦ 2025-12-08

开源 AutoGLM-Phone-9B

交钥匙:纯视觉端侧

模型 MIT + 框架开源

每一步"解决了什么、又暴露了什么",一张表看全(后四列是各讲展开的索引):

文章/公告 解决了什么 暴露/留下什么 本讲小节
① 发布(2024-10-25) 产品形态跑通:真机完整操作链路 只支持 8 款 App、限量内测、成功率未知 一
② 技术报告(2024-10-28) 方法论:规划与定位分离、数据自造 评测全靠自报,别人无法复现验证 三
③ AndroidLab(2024-10-31) 可复现评测 + 训练底座,开放给全行业 只覆盖 9 个离线小 App,离"真生活"远 四
④ OpenDay(2024-11-28) 长程(50+ 步)、跨 App、百万内测 占用户手机、不能常驻;能力延伸到电脑(GLM-PC) 五
⑤ 沉思(2025-03-31) 加"脑":先反思研究再动手 执行还是在用户设备上 五
⑥ AutoGLM 2.0(2025-08-20) 换"身":云端专属手机/电脑,24 小时不打扰用户 成本自担;微信等隐私 App 依然不碰 五
⑦ 开源(2025-12-08) 交"钥匙":模型 MIT 开源、框架纯视觉,端侧回归 官方未公布公开 benchmark 分数 六

后文每一节回到那条链上,贯穿例子始终是开头那杯半糖冰美式。

三、第一篇:技术报告,把"点按钮"拆成两件事(2024-10-28)

技术报告《AutoGLM: Autonomous Foundation Agents for GUIs》(arXiv 2411.00820,v1 提交于 2024-10-28,30 位作者,智谱 AI + 清华大学)是整条链的起点。它交代了三件事:产品形态、两个核心设计、四组成绩单。

产品形态:一半公开、一半内测。 摘要原话:"Select AutoGLM capabilities are now available through the Qingyan Browser Plugin for web applications and via Form Applications for invited Android testing"------网页侧以"智谱清言"浏览器插件公开上线(Chrome/Edge 商店可装,AutoGLM-Web),手机侧是安卓表单申请制内测 。手机端的实现通道,论文只写了一句:"We have also implemented a practical Android application via AccessibilityService"------基于无障碍服务(安卓为残障辅助工具提供的系统接口,能读到屏上每个控件的类型和文字)。至于它到底用截图还是控件树看屏幕、怎么发点击,论文一个字没写;这些细节要到一年后的开源仓库才揭晓(第六节)。

核心设计一:中间接口------规划的人和定位的人分开干。 这是论文的第一个洞察:"the design of an appropriate 'intermediate interface' for GUI control is crucial, enabling the separation of planning and grounding behaviors"------规划和定位(grounding,把"那个按钮"落到屏幕坐标上)是两种能力:规划要灵活、会纠错,定位要精准、不出偏。分离开之后,模型之间的接口长这样(论文原文示例):

复制代码
# Planner(规划者)
do(action="Click", element_description="the 'Submit' button on the bottom right")
# Grounder(定位者)
find_coordinates_by_instruction(...)
# 输出:[823, 684]

放到冰美式的例子上:规划者决定"打开美团→搜咖啡店→选半糖→下单"这条链,定位者只回答"半糖那个选项在屏幕哪个坐标"。这么拆的直接好处是数据 :定位数据"可以从环境的无监督观察里自动海量构造"(论文原话),不用人一条条标。效果有多硬?接口一换,同一个模型的成绩直接跳档(VAB-WebArena-Lite 上):gpt-4o 文本模式 14.3%→18.1%,gpt-4o 视觉模式 18.2%→27.3%,gpt-4-vision 18.8%→36.4%。模型没动,只是换了模型和数据之间的"插座",最多涨 17.6 个点。

核心设计二:WebRL------任务不够,就自己造。 第二个洞察针对训练的老大难:能拿来练手的高质量任务数据太少------论文把它列为两大难点之一,名字就叫 Task Data Scarcity(任务数据稀缺)。论文自述为此开发了"自进化在线课程强化学习"框架 WebRL(单独成文,arXiv 2411.02337),跑在 actor-critic 框架上------一个"演员"负责出手做任务,一个"裁判"负责打分把关。循环分三步:

  • 起步:约 1,000 条数据开张。 行为克隆(BC,Behavior Cloning:拿人的操作轨迹做监督微调,教模型模仿)打底,数据来自 VisualAgentBench,只够把 GLM-4-9B 初始化到 22.4% 成功率------起点不高,看点在后面能不能滚起来;
  • 进化:只变异失败的指令。 让模型在线试错(roll-out:真去把任务做一遍),没做成的指令被自动改写------往更难、更简单两个方向变,改写结果先过裁判(critic)的筛子,合格的才进下一轮训练。为什么只对失败动手?论文没展开,但不难读:失败正说明难度不匹配,这批指令是校准难度最值钱的原料------课程表因此始终贴着模型能力的边缘出题,论文称之为"由弱到强、在线进行"的课程(往难改还是往简单改、各占多少,论文未细说);
  • 防漂移:两只手拽住策略。 迭代训练最容易翻车在策略越滚越偏。WebRL 两手一起上:KL 约束的策略更新------限制每步更新的幅度,不许新策略一下偏离老策略太远;按置信度过滤的经验回放------把练过的轨迹存下来复用,但只回放演员当时有把握的部分。论文的消融实验(ablation:把某项设计拆掉看掉多少分)证明这两只手缺一不可,去掉就难有稳定的逐轮提升。

滚到头是多少?同一榜单 VAB-WebArena-Lite:起步 22.4%,一路滚到 55.2%------正是下面成绩单第一行那个数。一句话:课程表不是人排的,是模型自己滚出来的。

四组成绩单(全部出自论文,标注对比基准):

评测 AutoGLM 对比 说明
VAB-WebArena-Lite(网页) 55.2%(二次尝试 59.1%) GPT-4o 18.2% 165 题精校子集
OpenTable 真网站人工评测 96.2% GPT-4o 62.6%、Agent Q 81.7% 真实订餐网站
AndroidLab(手机,即 VAB-Mobile) 36.2% GPT-4o 31.2%、Claude-3.5-Sonnet 29.0% 下一篇论文的主场
7 个中文 App 真机人工评测 89.7% --- 微信、美团、淘宝、大众点评、高德、小红书、12306

最后一行值得多看一眼:这是论文里最"生活"的评测------真手机、真 App、真人判卷,考题就是"在 Alice 最新的朋友圈下点赞""从最近的咖啡店点半糖椰拿""订周六珠海到广州的票"这一类。论文也诚实承认了边界:"While currently, it is unable to solve all tasks perfectly, unfinished tasks are able to be half completed"------办不成的事也能办一半,仍算实际帮上手。顺带一提:这篇论文没有 Limitations 一节,上面这句是最接近"承认局限"的原文。

技术报告立住了方法论,但留了一个明显的口子:这些数字都是自报的,别人没法复现验证。三天后,配套的地基论文来了。

四、第二篇:AndroidLab,给全行业打地基(2024-10-31)

AndroidLab(《AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents》,v1 提交 2024-10-31,清华为第一单位,智谱在致谢中赞助了算力与标注成本)和 AutoGLM 报告是同团队先后脚:AutoGLM 把它当手机端评测底座用(论文里称 VAB-Mobile,36.2% 那个数字就出在这),AndroidLab 则把整个评测和训练环境开放成了公共品。

它解决了"手机 Agent 评测不可复现"这个当时全行业的痛:

  • 环境可复现:预打包的安卓虚拟机镜像(AVD),ADB 控制(Android Debug Bridge,电脑往手机发指令的标准通道),时间与地理位置固定------任何人跑同一道题,看到的是同一个世界;
  • 题目成套 :138 道任务 = 93 道操作题 + 45 道查询题,覆盖 9 个可完全离线运行的 App(日历、时钟、通讯录、地图、设置等),不碰真实账号、不产生真实扣费;
  • 数据开放:Android Instruct 数据集,10.5k 条轨迹、94.3k 步;其中用于微调的子集 726 条轨迹、6,208 步。

训练部分只做了一件事:SFT(监督微调),没有 RL、没有 DPO。做法直白:拿 Android Instruct 里用于微调的 726 条轨迹,给几个开源模型(权重公开、任何人都能下载来改造的模型)各自微调一遍,再上 138 道题重新考一次,前后成绩放在一张表里(观察方式按模型类型分两种:纯文字模型读 XML 格式的屏幕信息,能看图的模型读加了编号标注的截图,即 SoM 模式):

模型 微调前 微调后
GLM4-9B-Chat 7.25% 21.01%
LLaMA3.1-8B 2.17% 23.91%
Qwen2-7B 4.35% 19.57%
上面三个的平均 4.59% 21.50%
看图模型平均(CogVLM2、Qwen2-VL-7B 等,SoM 模式) 1.93% 13.28%

微调前,这些开源模型的成绩全是个位数------二十个任务成一个都难;几百条轨迹喂下去,普遍翻到四五倍。数字背后的信息比数字本身重要:在离线可复现的环境里,几百条轨迹就能把一个几乎不会用手机的模型教到勉强能用 ------这给了全行业(包括竞品)一条可信的改进路径。环境、benchmark、数据集都开在 THUDM/Android-Lab。

回到递进链:论文给了方法,AndroidLab 给了尺子,产品该提速了。

五、中间两跳:加脑与换身(2024-11 → 2025-08)

接下来一年,产品线连跳三步。这一段的主角是三份官方公告。

第一跳(2024-11-28,Agent OpenDay):长程、跨 App、百万内测。 官方公告的原话:"AutoGLM 可以自主执行超过 50 步的长步骤操作,也可以跨 app 执行任务";同场宣布"AutoGLM 启动大规模百万内测"(注意:这仍是内测,不是全量------"11 月底全量开放"的网络说法与官方原文不符)。同一天还干了两件影响后面走向的事:GLM-PC 首发内测("像人一样操作计算机",基于视觉模型 CogAgent,手机的能力延伸到电脑);提出 GLM-OS(以大模型为内核的操作系统)概念和"10 个亿级 APP 免费 Auto 升级"计划。也是在这个月,官方回溯页记了一笔有画面感的事:2024 年 11 月,AutoGLM 发出了"首个手机红包"。

配套的模型动作一个月后跟上:2024-12-30,CogAgent-9B-20241220 开源(GLM-PC 的基座,从 GLM-4V-9B 训练而来)。这个模型卡上有一句当时不显眼、后来变成主线的话:"该模型仅需屏幕截图作为输入(无需 HTML 等文本表征)"------纯截图、不要网页结构化文本。记住这句,第六节它会回来。2025-01-23,GLM-PC 1.1 加"深度思考"模式开放体验(比 OpenAI 发布 Operator 还早一天,被媒体称"抢跑")。

第二跳(2025-03-31,AutoGLM 沉思):加脑。 在中关村论坛发布的 AutoGLM 沉思,定位"集深度研究与实际操作能力于一体"------先用 GLM-Z1 系列推理模型想清楚 (反思、拆解、查资料),再用 AutoGLM 动手。新华社通稿给出的技术栈是四层叠加:"融合了 GLM-4 的通用能力、GLM-Z1 的反思能力、GLM-Z1-Rumination 的沉思能力,以及 AutoGLM 的自动执行能力",免费不限量开放。两周后(2025-04-14),这条线的 32B 模型(含 AutoGLM-Model-32B-0414)全部开源。冰美式的例子在这一步变成了:"帮我研究一下公司附近哪家咖啡店性价比高,顺便下单"------先搜、比、想,再点。

第三跳(2025-08-20,AutoGLM 2.0):换身。 这次是整条产品线最大的一次架构转向:为每位用户在云端部署一台专属"智能体手机"和"智能体电脑",AI 远程操作云设备干活。App Store 现行描述写得很直白:"所有任务都在云端执行,不占用你的手机或电脑资源";官方称 24 小时独立运行、不打断用户操作,由 GLM-4.5 与 GLM-4.5V 驱动,独立 iOS App 于 2025-08-19 上架(App Store 版本记录;科技日报报道)。

为什么从"操作你的手机"换成"操作云端的手机"?官方公告没有解释原因。 但对照端侧路线的三个固有麻烦,这个转向不难读:一是端侧操作要占用户正在用的手机(Mika 用虚拟屏绕开它,代价是复杂的系统权限);二是常驻任务(定时、长程)需要设备一直可用;三是真机自动化操作容易触发 App 风控、伤到用户自己的账号。云手机三个全解------代价是算力成本自担,以及隐私敏感的 App(微信)依然不能碰。这是本讲的解读,不是官方陈述。

到这里,商业产品走到了"云端托管"的形态。但故事还有最后一跳,也是最重的一步:把能力本身开源出去。

六、第三篇落地:2025-12 开源,纯视觉 + 交钥匙

2025-12-08,官方公告《AutoGLM开源:每台手机,都可以成为AI手机》发布(GitHub 仓库同日创建,Open-AutoGLM)。开源分两半:

一半是模型:AutoGLM-Phone-9B。 中文优化版 + 多语言版(AutoGLM-Phone-9B-Multilingual)两个模型,从 GLM-4.1V-9B-Base 微调而来,"模型结构与 GLM-4.1V-9B-Thinking 相同",约 10.3B 参数,MIT 许可 (HuggingFace 模型卡)。商用无限制,这是"交钥匙"里最实的一把。

另一半是框架:Open-AutoGLM。 代码 Apache-2.0,README 自述工作循环是:截图 → 视觉模型理解界面 → 输出点击坐标 → ADB 执行 → 循环。三个细节值得停一停:

  1. 不用无障碍树,纯截图视觉方案 ------README 明说以多模态方式理解屏幕内容,不依赖控件树。这正好接上第五节埋的那句伏笔:从 CogAgent 的"仅需截图",到 Phone-9B 的纯视觉,智谱的感知路线两年走完了从"读控件"到"看图"的切换。旁证是 GLM-4.1V 系列技术报告(arXiv 2507.01006)里的 AndroidWorld 成绩:9B 模型 41.7 分、GLM-4.5V 57.0 分(对比 Qwen2.5-VL-72B 的 35.0)------纯视觉路线的天花板还在快速抬高。
  2. 覆盖面:Android 7.0+(ADB)、鸿蒙 NEXT+(HDC)、甚至 iPhone(WebDriverAgent,经 Midscene.js 适配);官方称覆盖 50+ 高频中文 App、60+ 鸿蒙应用。
  3. 安全机制一句话带过:"内置敏感操作确认机制,并支持在登录或验证码场景下进行人工接管"------和 Mika 章拆的审批体系比,粒度粗得多(Mika 是"同意只放行紧接着那一个动作、付款永不放行")。

开源公告里还有两句立场鲜明的话,值得原文引用:"我们主动放弃了操作微信等这些离用户隐私较近的 APP";"数据与隐私,永远留在使用方这一侧"。技术背景是 MobileRL(arXiv 2509.18119,在上千个虚拟设备环境里同时做强化学习),公告里另提到 ComputerRL、AgentRL 算法------但都是定性描述。一个事实纪律的提醒:官方从未公布 AutoGLM-Phone-9B 在 AndroidWorld 等公开 benchmark 上的分数,网络上流传的"AutoGLM-bench"查无官方实体(GitHub 404、论文与项目主页均无此词),引用时需留意。

仓库热度:26,582 star、4,068 fork(GitHub API,2026-11-13 查看;最后 push 2026-03-06)。

至此六篇读完。回头看这杯冰美式都经历了什么:技术报告时代,它是 Planner/Grounder 分离的演示题;AndroidLab 时代,它变成 138 道可复现考题的同款;2.0 时代,它在一台你看不见的云手机上下单;开源之后,任何一个团队拿 MIT 许可的 9B 模型看截图、点坐标,也能复刻这杯咖啡。

七、对照 Mika:同一道题的两份答卷

把 AutoGLM 和 Mika 并排放,六个维度全部相反,但每一对"相反"都能互相解释:

维度 AutoGLM(厂商线) Mika(开源端侧线)
看屏 纯截图视觉,一层(Phone-9B) 无障碍树 → OCR → 看图,三层降级(第 2 讲)
动手 云手机(2.0)或 ADB 控制真机(开源版,模型跑在电脑上) 用户手机上的虚拟屏 + 无线调试 shell 助手
模型 自研专用模型(Phone-9B,MIT 开源) 用户自带 Key,四协议接任意厂商
安全 敏感操作确认 + 人工接管 + 主动不碰微信 唯一执行入口 + 审批卡 + 付款永不放行(第 4 讲)
常驻 云手机 24 小时独立运行 手机前台服务,锁屏即停
商业 厂商托管订阅,能力本身商品化 无服务器、不收钱

最有意思的是最后两行背后的两个不同的问题 。Mika 章反复回答的是:"怎么让一个会出错的模型,安全地在一部别人正在用的 手机上办事"------所以它有审批卡、有虚拟屏、有在场判定。AutoGLM 回答的是:"怎么让一个会出错的模型,规模化地替一百万个用户办事"------所以它走向云手机(风控伤不到用户账号)、专用模型(可控可优化)、开源商品化(把市场做大)。问题不同,答案自然不同;两份答卷不存在谁对谁错,只存在你在哪个约束下做事。

国内 Personal Agent 课当时下过一个判断:"开源是最狠的一步:把'操作手机'的能力商品化,逼所有对手往平台关系和体验上卷。"2025-12 这一步落地,判断兑现。

八、2026-11 的现状:三条线并行

截至本讲调研日(2026-11-13),AutoGLM 这个名字下实际跑着三条产品线:

  • 独立 App (AutoGLM,iOS/安卓/网页):仍是 2.0 的云设备架构,最新版 2.0.20(2026-07-09)新增了 AutoClaw 移动端入口------手机 Agent 的本体;
  • 网页版"超级报告助手"(autoglm.zhipuai.cn):深度搜索 + 专业网站抓取 + 生成结构化报告/PPT------"沉思"一脉的落地形态,Phone Use 让位于深度研究;
  • AutoClaw(澳龙)(autoclaw.zhipuai.cn):官网自述"国内首款一键安装的本地 OpenClaw 客户端,内置 50+ Skills,集成 AutoGLM 浏览器操作能力"------AutoGLM 的执行能力被拆出来,装进了本地龙虾的壳里。

两条规律从这条现状里浮出来。其一,钟摆:端 → 云 → 端。 2024 年在用户手机上跑(无障碍服务),2025 年搬进云手机,2025-12 又用开源把能力送回端侧------但回归的端侧已不是原样:感知从控件树换成了纯视觉,部署从 App 换成了"电脑 + ADB"的工程形态。其二,感知路线的世代交替基本完成。 2024 年产品靠无障碍服务,行业普遍"控件树优先";到 2025-12,连最早用无障碍服务的智谱自己,开源方案也整体切到了纯截图视觉。Mika 式的"三层降级"(能用控件树就用、不行再看图)是这场交替里端侧小团队的务实解,而大厂用模型能力硬吃下了"看图"这条路。

九、课程小结

  • AutoGLM 是智谱 + 清华的 Phone Use 智能体:2024-10-25 发布(安卓内测 + 清言插件),官方自称全球首个具备 Phone Use 能力的 AI Agent;
  • 六篇一手文章构成递进链:技术报告立方法论(中间接口分离规划/定位 + WebRL 自进化课程 RL)→ AndroidLab 打可复现地基(138 题 + SFT 数据全开放)→ OpenDay 产品提速(50+ 步、跨 App、百万内测)→ 沉思加脑(GLM-Z1 反思)→ 2.0 换身(云端专属手机/电脑)→ 2025-12 开源交钥匙;
  • 感知路线两年从"无障碍服务"走到"纯截图视觉"(CogAgent"仅需截图"→ Phone-9B 纯视觉方案),是行业世代交替的缩影;
  • 2.0 云手机解掉端侧三麻烦(占用设备/无法常驻/风控伤账号),代价是成本自担、隐私 App 不碰------此为本讲解读,官方未解释转向原因;
  • 与 Mika 对照:一个回答"怎么安全地在别人手机上办事",一个回答"怎么规模化替百万人办事"------六维全反、各有其理;官方未公布 Phone-9B 公开 benchmark 分数,引用网络数字需谨慎。

思考题

  1. 中间接口设计让同一个模型最多涨 17.6 个点。如果让你为"跨 App 订票"任务设计 Planner/Grounder 的接口,element_description 该携带哪些信息才能让定位者不依赖具体 App?
  2. AutoGLM 2.0 用云手机绕开"占用用户设备"的麻烦,Mika 用虚拟屏绕开同一个麻烦。两种解法各自把复杂性转移到了哪里?哪种更难被 App 风控识别?
  3. 智谱开源 Phone-9B 时"主动放弃操作微信"。如果开源模型不主动放弃,生态里会发生什么?这个"放弃"是技术判断还是商业判断?

延伸阅读

论文(一手)

官方公告(一手)

媒体旁证(二手)

本仓库关联课程

相关推荐
玄枢AI40 分钟前
AI把待办整理成JSON后,用Python检查漏字段、类型错误和未知值
人工智能
VIP_CQCRE43 分钟前
GPT Image 2.6 选型别只看首张:用盲评与合格图耗时比较 Flare、Sunburst
软件测试·图像处理·人工智能
程序员cxuan1 小时前
REA 靠边站,逆向圈又一新王诞生了
人工智能·后端·程序员
AI算力1 小时前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
Csvn1 小时前
所有问题都喂最贵的模型?规则路由实测:30 个问题里 16 个能交给便宜模型(C03)
人工智能·aigc·agent
网易云信1 小时前
再也不用做 AI 的“传话筒”了:拆解云信 SynergyHub 的 Agent 协作工作流
人工智能
真上帝的左手2 小时前
26. AI-Agent-技术架构:Harness、Runtime、Orchestrator、Framework
人工智能·架构·agent·ai编程·智能体
甲维斯2 小时前
GPT6.2Astra“卖家秀”!擅长领域汇总!
人工智能
回眸&啤酒鸭2 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习