Codex Skill 保姆级教程 1:Computer Use — 让 AI 接管整台电脑

目录

摘要

[一、Codex Computer Use 是什么?](#一、Codex Computer Use 是什么?)

[1.1 以前 Codex 主要做什么?](#1.1 以前 Codex 主要做什么?)

[1.2 现在 Computer Use 多了什么能力?](#1.2 现在 Computer Use 多了什么能力?)

[二、Codex 电脑操控功能如何开启?](#二、Codex 电脑操控功能如何开启?)

[2.1 方法一:通过更新弹窗直接开启](#2.1 方法一:通过更新弹窗直接开启)

[(1)打开 Codex 后出现更新弹窗](#(1)打开 Codex 后出现更新弹窗)

(2)点击开始设置即可

[2.2 方法二:在设置中手动开启](#2.2 方法二:在设置中手动开启)

[(1)进入 Codex 设置](#(1)进入 Codex 设置)

(2)找到电脑操控

(3)在任意应用中点击安装

[三、如何在对话框中调用 Codex 操作电脑?](#三、如何在对话框中调用 Codex 操作电脑?)

[3.1 选择 Computer Use 工具](#3.1 选择 Computer Use 工具)

[3.2 选择审批模式](#3.2 选择审批模式)

[3.3 输入任务指令](#3.3 输入任务指令)

四、使用时需要注意什么?

[4.1 Codex 会看到屏幕内容](#4.1 Codex 会看到屏幕内容)

[4.2 敏感操作需要谨慎审批](#4.2 敏感操作需要谨慎审批)

[4.3 Windows 11 更推荐,Windows 10 可能不稳定](#4.3 Windows 11 更推荐,Windows 10 可能不稳定)


摘要

以前在 Windows 电脑上使用 Codex,更多是通过浏览器、项目目录、终端或代码环境来完成开发任务。现在 Codex 的 Computer Use 电脑操控功能 已经支持 Windows,意味着 Codex 不仅能看代码、改代码、跑命令,还可以像真人一样看屏幕、点按钮、输入文字、切换窗口,直接操作电脑上的应用程序。OpenAI 官方说明中提到,Codex App 支持 Windows,并且可以在 Windows 上通过 PowerShell、Windows 沙箱或 WSL2 运行相关工作流。Computer Use 功能则可以让 Codex 通过"看、点、输入"的方式操作应用。


一、Codex Computer Use 是什么?

1.1 以前 Codex 主要做什么?

之前我们在 Windows 电脑上使用 Codex,更多是把它当成一个 AI 编程助手

它可以帮我们:

  1. 写代码;
  2. 修改项目文件;
  3. 解释报错;
  4. 生成测试代码;
  5. 运行终端命令;
  6. 协助 Git 操作;
  7. 查看项目结构;
  8. 分析代码逻辑。

也就是说,以前 Codex 的核心能力主要集中在:

代码、终端、项目文件、浏览器调试。

它很强,但是它的工作范围多数还是围绕"开发环境"展开

比如你让 Codex 修改一个 C++ 项目,它可以打开项目、改代码、运行测试、分析报错;但如果你想让它去操作 Word、Excel、记事本、微信、画图、浏览器页面或者其他 Windows 应用,以前就没有这么自然。


1.2 现在 Computer Use 多了什么能力?

这次更新最大的变化就是:

Codex 可以直接使用你的电脑。

**OpenAI 官方对 Computer Use 的说明是:**Codex 可以查看屏幕内容、截取屏幕信息,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。也就是说,它可以像人一样观察界面,然后通过点击、输入、切换窗口等方式完成任务。

简单理解就是:

  1. 以前:

你让 Codex 改代码,它主要在项目里工作。

  1. 现在:

你可以让 Codex 去操作 Windows 上的应用。

比如:

  1. 打开浏览器并测试网页;
  2. 打开 VS Code 修改项目;
  3. 打开记事本整理文字;
  4. 打开 Word 处理文档;
  5. 打开 Excel 整理表格;
  6. 打开画图或其他软件执行简单操作;
  7. 在多个软件之间复制、粘贴、整理内容。

以前 Windows 上 Codex 只能在浏览器中实现自主操控,现在整个电脑都可以交给它操作了。

当然,这里的"整个电脑都是它的"不是说完全失控,而是说 Codex 获得了更强的桌面应用交互能力。真正执行时,仍然需要你授权应用、确认审批,并且你可以随时停止。


二、Codex 电脑操控功能如何开启?

2.1 方法一:通过更新弹窗直接开启

(1)打开 Codex 后出现更新弹窗

一般打开 Codex 后,如果你的版本已经推送到了新功能,会出现一个更新或功能介绍弹窗。

弹窗大概会提示:

Codex 移动版上线

或者提示你可以使用新的电脑操控功能。

这个时候直接点击:

开始设置

就可以根据引导继续开启。

Codex 会提示:

只要电脑处于唤醒状态,就可以在手机上通过 ChatGPT 应用继续使用 Codex。

这其实和 Codex 的远程控制、移动端联动有关。OpenAI 官方也提到,用户可以从手机端查看、审批、继续 Codex 的工作,电脑仍然作为项目文件、终端、应用服务器和本地上下文的主机。


(2)点击开始设置即可

如果出现弹窗,最简单的方法就是:

  1. 打开 Codex;
  2. 等待弹窗出现;
  3. 点击"开始设置";
  4. 根据提示完成授权;
  5. 进入电脑操控配置页面;
  6. 安装对应的 Computer Use 能力。
  7. 如果暂时不想设置,也可以点击"稍后设置"。
  8. 不过如果你准备体验 Computer Use,建议直接点开始设置,这样能少走很多路径。

2.2 方法二:在设置中手动开启

(1)进入 Codex 设置

如果你打开 Codex 后没有看到弹窗,也不用担心。

可以手动进入设置页面。


(2)找到电脑操控

进入设置后,在左侧找到:

电脑操控

英文里一般对应:

Computer Use

这个页面的作用是管理 Codex 如何使用你电脑上的其他应用程序。

从截图中可以看到,页面中有一个"控制"区域,里面包括:

  1. 任意应用;
  2. Google Chrome。

其中:

任意应用:允许 Codex 控制你电脑上的应用;

Google Chrome:浏览器扩展程序状态,如果没有连接,会显示"浏览器扩展程序未连接"。

OpenAI 官方文档中也说明,需要在 Codex 设置里打开 Computer Use,然后点击 Install 安装 Computer Use 插件,之后才能让 Codex 操作桌面应用。Windows 使用时,需要保持目标应用在当前活动桌面可见。


(3)在任意应用中点击安装

如果你看到"任意应用"右侧有:

安装

那么直接点击安装即可。

安装完成后,Codex 就具备了操作 Windows 应用的能力。

这里要注意:

不是所有应用都应该随便授权;

涉及支付、账号、安全、隐私的软件要谨慎;

尽量只让 Codex 操作当前任务需要的软件;

不要一次性给太多高风险权限。

比如你只是想让 Codex 帮你打开 VS Code 检查项目,就没必要让它去操作微信、网银、密码管理器之类的软件。


三、如何在对话框中调用 Codex 操作电脑?

3.1 选择 Computer Use 工具

开启之后,在 Codex 对话框中就可以看到类似:

Computer Use: Computer Use

这样的工具提示。

这说明当前对话已经可以调用电脑操控能力。

你可以在输入框里直接描述任务,例如:

  1. 帮我打开 VS Code,运行当前项目;
  2. 帮我打开 Chrome,测试本地网页是否能正常访问;
  3. 帮我打开记事本,把这些要点整理成一段文章;
  4. 帮我打开项目,找到报错位置并修改;
  5. 帮我打开浏览器,检查页面按钮点击后有没有跳转。

官方文档也提到,可以在提示词中提到 @Computer@AppName,或者直接让 Codex 使用 Computer Use,并说明具体要操作的应用、窗口或流程。


3.2 选择审批模式

从截图里可以看到,在发送任务前,可以选择审批方式。

常见有三类:

请求批准

这种方式最安全。

Codex 在编辑外部文件、访问互联网或执行某些动作之前,会先询问你。

适合新手用户,也适合第一次测试 Computer Use。

替我审批

这种模式相对更自动化。

Codex 只会在检测到风险操作时请求批准。

适合你已经比较熟悉 Codex,并且任务风险较低的情况。

完全访问权限

这种权限最高。

它可以不受限制地访问互联网和电脑上的文件。

这种模式效率高,但风险也最高。

除非你非常确定任务范围,并且已经做好备份,否则不建议随便使用。

OpenAI 官方也提醒,Computer Use 可能会影响项目工作区之外的应用或系统状态,因此应该保持任务范围清晰,并在继续前仔细检查权限提示。


3.3 输入任务指令

开启后,你就可以像正常聊天一样给 Codex 下任务。

比如:

复制代码
使用 Computer Use 打开 VS Code,进入当前项目,帮我运行程序并检查报错。

或者:

复制代码
打开 Chrome,访问本地前端页面,点击登录按钮,检查是否能正常跳转。

或者:

复制代码
打开记事本,把下面这些零散内容整理成一篇干净的草稿。

这里有一个关键点:

任务描述越具体,Codex 操作越稳定。

不建议一上来就说:

复制代码
帮我操作电脑。

四、使用时需要注意什么?

4.1 Codex 会看到屏幕内容

Computer Use 的本质是让 Codex 通过屏幕内容理解当前电脑状态。

所以你要知道:

  1. Codex 可能会看到当前打开的软件;
  2. Codex 可能会看到浏览器页面内容;
  3. Codex 可能会读取目标应用中的文字;
  4. Codex 可能会使用剪贴板;
  5. Codex 可能会点击按钮或输入内容。

官方安全说明中也明确提到,使用 Computer Use 时,Codex 可以查看屏幕内容、截屏,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态交互。

所以使用前最好先关闭不相关的软件。

尤其是:

  1. 微信聊天窗口;
  2. 邮箱;
  3. 网银;
  4. 密码管理器;
  5. 隐私文件夹;
  6. 重要账号设置页面;
  7. 公司内部敏感系统。

这不是说 Codex 一定会乱看,而是使用这类功能时,应该主动降低风险。


4.2 敏感操作需要谨慎审批

使用 Computer Use 时,最好遵守几个原则。

第一,任务要小。

不要一次让它做太大的任务。

比如不要说:

复制代码
帮我整理整个电脑。

而应该说:

复制代码
帮我打开 D 盘 Code 文件夹,把里面的 C++ 项目按章节命名整理。

第二,应用要少。

一次只让它操作一个或少数几个应用。

第三,高风险操作要人工确认。

比如:

  1. 删除文件;
  2. 移动大量文件;
  3. 提交 Git;
  4. 推送代码;
  5. 发送邮件;
  6. 修改系统设置;
  7. 填写账号密码;
  8. 执行支付或购买操作。

这些最好都手动确认。

官方文档也建议保持任务范围窄、审查权限提示、对账号安全和隐私相关流程保持在场,并且如果 Codex 开始操作错误窗口,要及时取消任务。


4.3 Windows 11 更推荐,Windows 10 可能不稳定

从实际体验角度看,建议优先在 Windows 11 上开启和测试 Computer Use。

OpenAI 官方已经说明 Codex 支持 Windows App,并且 Windows 版本可以配合 PowerShell、Windows 沙箱或 WSL2 使用。

  • Windows 11:更推荐,兼容性更稳;
  • Windows 10:可能存在不支持或不稳定情况;
相关推荐
程序员佳佳1 天前
深度解析:向量引擎如何影响AI内容收录?附3个月实测数据
人工智能·gpt·自动化·ai写作·codex
一行11 天前
Codex CLI 全平台安装步骤
人工智能·ai·codex·问鼎ai
oscar9991 天前
Codex - OpenAI打造的编程智能体
chatgpt·openai·codex
Ai财富密码1 天前
【Codex入门教程2】用Codex零基础手搓“双摄 App”并上架 App Store 的通关指南
人工智能·codex·gpt5.5·双摄app
深念Y2 天前
多 Agent 对证循环协作架构:Hermes + Claude Code + Codex 三角色工作流实战
ai·工作流·codex·vibecoding·claudecode·skills·hermes
fengchengwu20122 天前
Codex Relay 安装与配置笔记
codex·deepseek·codex relay
呆呆敲代码的小Y2 天前
【最新Codex教程】 | 安装、入门和快速使用,适合新手
人工智能·gpt·ai·llm·openai·agent·codex
不懂的浪漫3 天前
Codex 更新后历史 Session 消失?我写了一个修复官方 Bug 的 Recovery Skill
bug·codex·skill