以前让 AI 操作电脑上的软件，常规做法都是屏幕截图塞给模型看、猜像素坐标再用鼠标点过去：既费 token，干活时还会直接抢占你的鼠标和键盘。
Vercel Labs 昨天（11 月 5 日）给开源工具 agent-desktop 发布了 1.2.0 版本，加入了 MCP 支持。它的原理是直接读取操作系统的无障碍树，给界面的每个控件编号，让 AI 依据编号精准触发；操作默认在后台执行，全程不需要截图，也不会抢占你的鼠标键盘。
我一年光 AI 订阅就要花费 1.7 万元，月底对账非常繁琐，正好拿它做测试：将其接入 WorkBuddy，让它控制系统计算器把 15 笔账单逐笔加总、填入记事本，实测全程 0 截图，55 次按键没有一次点错。
客户端直接在官网下载（www.workbuddy.cn），装好后打开就能用。
零代码安装并启用 67 个桌面控制工具
第 1 步：打开客户端，点击左侧侧边栏的「新建任务」，进入空白对话窗口。
第 2 步：完全不需要自己手动折腾底层环境，直接在对话框中发送安装需求：
text
帮我在电脑上安装最新版的 agent-desktop 工具，装好后检查一下版本号告诉我。
系统耗时 42 秒（消耗 WorkBuddy 积分 2.17），就自动完成了 1.2.0 版本的安装与校验。
第 3 步：继续在输入框发送提示词，让系统把该工具接入自身的连接器体系：
text
把刚装好的 agent-desktop 接入到你自己的工具里，接好后告诉我一声。
等待 59 秒（消耗 1.96 积分），它自动在本地配置文件中写好了配置信息，并提示去界面完成手动信任。
第 4 步：点击左侧「专家·技能·连接器」，切换到「连接器」标签页，打开右上角的「自定义连接器」。
在 agent-desktop 旁点击「信任」，状态随即变绿，显示「67/67 个工具已启用」。整个接入流程只花了不到两分钟，全程没有手写一行配置代码。
边界控制实测：仅定向读取计算器窗口
让 AI 接管桌面时，开发者最担心的往往是隐私安全，担心模型把整个屏幕上的其他敏感文档或聊天窗口一起读取。
第 5 步：把系统自带的「计算器」打开放在一侧，在对话框中发送针对性指令：
text
我已经打开了「计算器」，请用 agent-desktop 只读取「计算器」这一个窗口里的按钮元素，千万不要列出我电脑上开着的其他窗口。
耗时 47 秒（消耗 3.24 积分），它对计算器应用窗口生成了定向快照，整齐列出了 36 个按钮的编号清单，后台开启的其他软件均未被触及。
自动化算账填表：连续点击 55 次加总 15 笔开销
第 6 步：先让模型生成 15 笔混杂的未汇总账单明细：
text
帮我写一份包含 15 笔混合开销的月度办公与 AI 工具订阅账单明细，把不同类别的费用混在一起列出来，先不用算总数。
15 笔费用刻意混排，最后一笔为 145 元的 Zapier 专业版，用于检验其连续跨窗口处理能力。
第 7 步：在桌面新建一个空白记事本摆在旁边，在输入框粘贴执行指令：
text
现在用 agent-desktop 去点我桌面上开着的「计算器」，把刚才那 15 笔开销按类别一笔笔加起来核对，再把分类汇总和总金额填进我刚打开的空白「记事本」窗口里。做完告诉我一共花了多少秒、有没有点错。
发出指令后，屏幕上的计算器按键开始自动触发。执行完毕后的统计数据显示，该步骤消耗了 7.95 积分，连续点击了 55 次计算器按钮，纯按键耗时 82.8 秒。
第 8 步：核对屏幕上的加总结果。桌面计算器显示最终金额为 1746，记事本中已按分类列好各项小计及总金额 1746.00，连续 55 次点击无一失误。
第 9 步：让其在记事本末尾追加确认并按快捷键保存：
text
记事本里的汇总我看了，再用 agent-desktop 在记事本最后补一行「已用计算器逐笔核对无误」，然后帮我按快捷键把它保存到桌面上，告诉我完整的文件路径。执行完毕后，记事本字符数从 581 增加到 609，末尾补齐了说明，并通过快捷键将文件保存为 2026-11 订阅账单分类汇总.txt。
需要指出的是：仅仅在记事本末尾追加这一行字并按快捷键保存，耗时达到了 3 分 49 秒。因为每执行一个动作前都要重新确认界面状态，整体节奏偏长。
同场对比：无障碍树控制 vs 传统截图看坐标
为了明确无障碍树方式与老办法的技术差异，第 10 步我将计算器清零并新开记事本，让模型用传统方式重跑一遍：
text
我们来测一下对比：这次不要用 agent-desktop，改用传统的屏幕截图看坐标方式，把刚才那 15 笔账单同样在「计算器」里重算一遍，并填进新的空白「记事本」窗口。做完如实告诉我这次花了多少秒、截了几次图、点偏了几次。
第 11 步：老办法执行完毕后，发送对比汇总指令：
text
把刚才用 agent-desktop 和用传统截图做同一件事的真实耗时、点错次数列个小表格对比一下，用大白话讲讲为什么差别这么大。
两组实测对比的核心数据如下：
| 对比维度 | agent-desktop（1.2.0） | 传统屏幕截图 + 像素坐标 |
|---|---|---|
| 总用时 | 201 秒 | 216 秒（其中 116 秒为会话中断空档） |
| 单次动作耗时 | 约 1.5 秒 / 次 | 约 0.15 秒 / 次 |
| 获取界面信息方式 | 系统快照（结构化，直接解析 ref） | 屏幕截图 + 视觉模型解析图像 |
| 实测点错次数 | 0 次（基于控件编号定位） | 0 次（基于硬编码像素坐标定位） |
| 截取全屏次数 | 0 次 | 9 次 |
| 是否抢占鼠标键盘 | 否（后台按编号执行） | 是（截屏后用物理鼠标点击坐标） |
一句话结论：两边都算对了、都没点错，总耗时也差不多（老办法中途断了 116 秒，扣掉这段它其实更快）。agent-desktop 赢在两点：全程不截图，不占你的鼠标键盘。
老办法每点一下只要 0.15 秒，但它不知道自己点对没有，每算一段就得截一张全屏给模型看，这次一共截了 9 张；而且它是拿真实鼠标去点坐标，实测时 WorkBuddy 还专门提醒屏幕上有个悬浮窗压在数字键上、会挡住物理点击。agent-desktop 每一步都要等界面稳定，单步慢，但它按按钮编号在后台操作，不用截图，你的鼠标键盘也空着。
最终产物与日常实用场景
第 12 步：查看最终保存到桌面的账单文件。
文件共计 20 行、660 个字符，15 笔开销金额及分类完全吻合，末尾保留了核对说明。
第 13 步：针对开发与日常办公场景，进一步向 AI 询问适用方向：
text
除了算账填表，平时处理电脑日常杂事还能用 agent-desktop 一句话干哪三件省事的活？
模型梳理出的三个自动化落地场景：
- 非文本界面的结构化数据提取：面对旧系统弹窗、无复制权限的报表界面，直接提取系统无障碍树，保留层级结构输出纯文本。
- 跨桌面端应用的批量数据搬运：将本地表格中的字段逐项搬运至不支持批量导入的专用软件，避免人工频繁使用 Alt+Tab 切换窗口。
- 桌面端状态轮询与自动化告警：定时检测指定应用窗口的状态或后台提示，在任务构建完成或报错时自动触发提醒，省去人工实时盯盘。
适用边界与技术总结
从实际工程角度来看，agent-desktop 1.2.0 仍存在明确的适用边界：
首先是动作节拍慢 。单次动作固定在 1.5 秒左右，点 55 次计算器用了 82.8 秒，补一行字加保存花了近 4 分钟，不适合毫秒级的批量压测。其次是按步消耗积分。全套跑完每一步都消耗了 0.55 到 7.95 不等的 WorkBuddy 积分，高频使用需要留意额度。
还有一点：不是所有操作都能在后台做。我之前测滴答清单时碰到一排长得一模一样、没有名字的输入框，它在后台模式下直接拒绝修改，得允许它加 --headed 切到前台、用真鼠标去点。
如果你平时也被大量跨软件算账核对、填表搬砖的杂活烦透了，去 WorkBuddy 官网下一个客户端，按上面的提示词把它接进去跑一轮，把这些机械的桌面操作彻底扔给 AI。
👋 我是孟健，前腾讯 T11、前字节技术 Leader，现在全职做 AI 编程。
🔥 更多 AI 编程实战：
- GitHub：@mengjian-github
- 专栏：AI编程实战
觉得有用？点赞+收藏 就是最大支持 🙏
本文由作者借助 AI 辅助整理，内容经作者实测与审校。