最近 AI Agent 圈最热的能力之一就是 Computer Use：让 AI 像人一样"看屏幕、动鼠标、敲键盘"，直接操作你电脑上的图形软件。听起来像是终极形态------什么都能点，那是不是什么都该让它点？
我最近实际用了一段时间（在 MiMo Desktop 里让 AI 操作我 Mac 上的应用），踩了一些坑，也想清楚了一些边界。这篇文章聊聊我的结论：Computer Use 很强，但它是一把有明确适用范围的工具，不是万能钥匙。
Computer Use 到底是什么
先把原理说清楚，后面的判断都建立在这上面。
Computer Use 的工作方式大致是：
- 看：对目标应用截图，同时读取系统的辅助功能树（macOS 的 Accessibility API），拿到"这个窗口里有哪些按钮、输入框、文本"的结构化信息；
- 想：模型根据截图和元素树，决定下一步点哪里、输入什么；
- 动：通过系统事件模拟点击、键入、滚动、拖拽。
本质上，它是给 AI 装了"一双眼睛和一双手"，在你现有的 GUI 上操作------不需要软件提供 API，不需要写脚本，理论上人能点的它都能点。
但正是这个"模拟人"的本质，决定了它的强项和弱项。
它的两个先天特性
特性一：操作是"概率性"的，不是"确定性"的
调 API 要么成功要么报错，结果是确定的。而 Computer Use 是"看图识字 + 定位点击"，每一步都可能出偏差：
- 很多应用（尤其是 Electron 套壳的）辅助功能树很浅，元素定位不稳；
- 界面是异步变化的，点完一个按钮，下一秒界面可能还没刷新完；
- 在 Retina 屏上还有坐标缩放问题，像素坐标和逻辑坐标差一倍，点歪是常事。
实际体验中它的成功率不低，但永远不是 100%。这意味着：它每一步的结果都需要验证，也意味着它不该被用在"点错一次就出大事"的地方。
特性二：它依赖一整条权限和环境链路
Computer Use 要跑起来，需要屏幕录制权限、辅助功能权限、窗口在可访问的位置、目标应用配合暴露元素树......任何一环断了都会失败。我自己就遇到过：所有应用的截图和元素树读取集体报错，排查半天发现是系统权限没给全。
这不是缺点，而是提醒：它是一条比较"重"的链路，能走轻量路径（API、CLI、文件操作）的时候，别走它。
适合做什么
基于上面两个特性，我总结的适用场景是一句话：读多于写、可逆、且没有更好接口可走的 GUI 场景。
1. 观察与信息汇总（最安全，也最擅长）
- "帮我看看这个软件现在显示了什么"
- 截图取证、读取某个窗口里的报错信息
- 对比两个应用的界面和功能布局
- 把散落在几个 GUI 工具里的状态汇总成一份报告
纯读取操作零风险，失败了大不了重试，这是 Computer Use 的舒适区。
2. 操作没有 API / CLI 的封闭软件
有些老旧的桌面程序、企业内部工具、只有图形界面的配置面板，没有任何自动化接口。以前这种重复操作只能人肉点，现在可以交给 Computer Use。"GUI 是唯一入口"是使用它的最正当理由。
3. 可逆的、结果肉眼可查的小操作
- 在设置界面里勾一个选项
- 在编辑器里填一段内容
- 在网页表单里录入数据（提交前停下来给人看）
共同点是：做完你一眼就能看到结果，做错了能撤销。风险敞口小，AI 出偏差的代价可控。
4. 辅助调试和复现
"帮我看看这个应用卡在什么状态""帮我复现一下这个操作路径然后截图"------把 AI 当成一个能看你屏幕的结对伙伴，这类场景体验非常好。
不适合做什么
反过来，下面这些场景，即使技术上能做，也不该做。
1. 对外可见、不可撤回的动作
发消息、发邮件、发帖、评论------这类动作的共同点是：影响范围超出了你自己的电脑，且覆水难收。
举个我自己的例子：我问 AI 能不能用 Computer Use 替我发飞书消息。它的回答是：技术上能，但不会主动做。因为用一个概率性的手段（可能点错联系人、可能内容没贴全）去执行一个不可逆的动作（消息发出去就撤不回），风险收益比极差。
如果真需要消息自动化，正路是用飞书机器人 / webhook 这类 API------确定性接口做不可逆的事，概率性接口做可逆的事，这是基本原则。
2. 涉及资金和敏感凭据的操作
支付、转账、操作密码管理器、登录银行------这些根本不该出现在 AI 的操作范围里。事实上，做得规范的 Computer Use 实现会直接把这类应用列入黑名单，连打开都拒绝。
3. 删除和破坏性操作
删文件、清数据、卸载软件。GUI 上的删除往往比命令行更"顺手"------一个确认弹窗点过去就没了。让一个每步有出错概率的 Agent 去点删除确认框，等于把安全阀拆了。
4. 有更好接口时的"炫技式"使用
能用 git 命令完成的，不要让 AI 去点 GitHub Desktop；能读文件完成的，不要让 AI 截图 OCR；能调 API 完成的，不要让 AI 模拟点击网页。Computer Use 每一步都比这些方式更慢、更贵、更不稳。它应该是最后的手段，而不是默认选项。
5. 长链条、无人值守的关键流程
二十步的操作流程，每步 95% 成功率，整体成功率只剩三成多。长流程要么拆短、每段验证，要么别用 Computer Use 挑大梁。
一个简单的决策框架
下次想让 AI 操作你的电脑时，问自己三个问题：
- 有没有 API / CLI / 文件级的方式能做这件事？ 有，就不用 Computer Use。
- 这个操作可逆吗？出错的代价我能承受吗？ 不可逆、代价高，就要求 AI 在关键步骤前停下来让你确认，或者干脆自己动手。
- 失败了容易发现吗？ 纯读取和界面内的小修改，失败显而易见；发出去的消息、付出去的款，发现时已经晚了。
三个问题过完，你会发现 Computer Use 的最佳角色不是"替你做一切的手"，而是"替你看屏幕的眼睛 + 处理封闭 GUI 的备用手"。
写在最后
Computer Use 代表的方向是对的：软件不再需要专门为 AI 开接口，AI 直接适配为人设计的界面。但越是通用的能力，越需要清晰的边界。
好的 Agent 不是什么都敢点的 Agent，而是知道什么时候该停下来问一句"这个要发出去了，你确认吗"的 Agent。
工具的价值不在于它能做多少事，而在于你知道该让它做哪些事。