桌面 GUI 自动化在技术架构上有两条明确的路径，一条基于接口调用，通过系统 API、Accessibility API 或者应用自身暴露的 REST/IPC 接口来操控界面元素；另一条基于屏幕理解，用视觉模型直接解析截图内容，输出鼠标键盘动作。我们在过去几个月的实践中把这两条路都走了一遍，这篇文章从架构层面整理两种方案的技术差异和各自的适用边界。
接口调用方案的架构依赖链比看起来长得多
接口调用的经典实现是传统 RPA 的控件树模式。以 macOS 为例，通过 AXUIElement API 可以拿到应用窗口的完整控件层级，包括按钮、文本框、菜单项的角色和属性。脚本根据控件的 AXRole、AXIdentifier 或者 AXTitle 来定位元素，然后触发点击或输入。这条路在控件树结构稳定的前提下精度很高，执行速度也快。
但控件树依赖链涉及多个层面。操作系统版本升级可能改变 AX 接口的行为；目标应用更新 UI 框架或重构布局后，控件的层级关系和标识符会变；跨平台应用如果用了自绘渲染（游戏引擎、某些 Electron 应用的 Canvas 模式），Accessibility 层根本拿不到有意义的控件信息。我们内部有个统计，在常用的 30 多款 macOS 桌面应用中，能通过 Accessibility API 稳定抓取到可操作控件树的大约只有一半左右，剩下的要么控件嵌套过深、节点语义不清，要么干脆不暴露。
对于有 REST API 的 Web 应用，接口调用的可靠性更好一些，但同样面临接口版本管理、认证 Token 刷新、字段格式兼容等工程问题。每接入一个新应用都需要单独写适配层，这个维护成本在目标应用超过十几个之后会变得很重。
视觉方案把依赖从接口层转移到了模型能力层
纯视觉 GUI Agent 的架构相对简单，输入是屏幕截图，输出是下一步操作（坐标点击、文字输入、快捷键等），中间是一个视觉语言模型在做推理。这种架构对目标应用完全零侵入，不需要知道应用用了什么 UI 框架，不需要接口文档，不需要 Accessibility 权限之外的任何集成工作。
代价是执行效率和确定性。我们在 MacBook Pro M5 16GB 上测试了 100 个 macOS 真机 GUI 任务，本地 4B 模型（Mano-CUA-Thinking-4B）的通过率为 56.0%，平均每个任务走 11.5 步，每步推理耗时 7.9 秒。同样的模型走云端推理（Mano-CUA Cloud），通过率提升到 83.0%，步数降到 10.3 步，但每步耗时因为网络往返变成了 9.3 秒。作为参照，Qwen3-VL-Plus 这个云端通用视觉语言模型在相同任务集上只有 39.0% 的通过率。
视觉方案的确定性问题体现在几个方面，模型可能误识别屏幕元素（尤其是相似的按钮或图标密集排列的区域），可能在多步任务中间迷失上下文（忘记前几步做了什么），也可能对弹窗、加载动画等动态界面状态处理不好。这些问题目前的缓解方式是在推理循环中加入验证步骤，Mano-P 的技术方案用了 think-act-verify 的循环推理机制，每执行一步之后重新截图判断是否达到了预期状态，如果偏离就回退或调整。
4B 本地模型在 GUI 任务上超过云端通用大模型，这背后的技术原因值得展开
Mano-CUA-Thinking-4B 在参数量远小于 Qwen3-VL-Plus 的情况下通过率高了 17 个百分点，这个差异的来源在训练策略上。Mano-P 的训练流程分三个阶段，先做 SFT 对齐基本的 GUI 交互理解能力，再做离线强化学习让模型学习操作序列的长期回报，最后做在线强化学习在真实环境中持续优化。这套 Mano-Action 双向自强化学习框架专门为 GUI 操作场景设计，和通用 VL 模型的预训练目标差异很大。
另一个因素是视觉 token 效率。GUI 截图通常分辨率很高，但信息密度分布极不均匀，大面积空白背景和少量关键 UI 元素共存。Mano-P 用了 GSPruning 算法做视觉 token 剪枝，通过锚点保留全局空间结构、用语义异常值识别关键 UI 元素，在 2-3 倍吞吐提升的同时精度损失很小。这让 4B 模型在边缘设备上的推理速度能到 M5 Pro 上大约 80 tokens/s 的 decode 速度，实际使用中每步操作的等待时间控制在 8 秒以内。
混合架构可能是当前阶段的务实选择
我们在测试中发现，Mano-CUA Cloud 加上 Bash 命令行辅助后通过率从 83.0% 提升到了 90.0%。这说明纯视觉方案和命令行/接口调用并不冲突，两者混合使用可以补齐各自的短板。在能拿到接口的步骤上用 API 调用保证确定性和速度，在没有接口或者接口不稳定的步骤上退回视觉 Agent 做截图理解。
这种混合架构的调度逻辑本身也不简单，Agent 需要判断当前步骤应该走哪条路径，这个判断依赖对目标应用的理解深度。Mano-P 在 OSWorld 专项模型排名中拿到了 58.2% 的成功率（第一名，领先第二名 opencua-72b 13.2 个百分点），在 WebRetriever Protocol I 上达到 41.7 NavEval，这两个基准覆盖了桌面和 Web 两类场景，说明纯视觉路线在跨场景泛化上的可行性。项目完全开源，本地部署只需要 Apple M4 芯片加 32GB 内存。