Codex Skill 计算机操控教程:AI 接管电脑实战
在Windows上折腾Codex这么久,其实一直有个遗憾:它再强,也还是局限于代码、终端、浏览器那一亩三分地。直到最近,Computer Use功能的正式到来,终于打破了这层天花板。简单来说,Codex现在不仅能看代码、改代码、跑命令,还能像真人一样盯着你的屏幕,用鼠标点按钮、敲键盘输入、甚至切换窗口——直接操作电脑上的任何应用程序。OpenAI官方说明里提到,Codex App已经全面支持Windows,并能在PowerShell、Windows沙箱或WSL2环境下运行工作流。而Computer Use这个新能力,就是让AI通过“看、点、输入”这种最自然的方式,替你去操作你电脑上的各种软件。
一、Codex Computer Use 是什么?
1.1 以前 Codex 主要做什么?
以前我们在Windows上使用Codex,更准确地说,是把它当作一个AI编程搭档。它能帮我们:
- 在代码编辑器里写代码、改代码;
- 在终端里执行命令、分析日志;
- 在项目目录里创建、删除、重命名文件;
- 在浏览器里调试前端页面。
核心能力几乎全部集中在“开发环境”这个圈子里。让它修改一个C++项目?没问题:打开项目、改代码、运行测试、分析报错一气呵成。可如果你想让Codex去操作Word、Excel、记事本、微信、画图或者别的什么Windows应用,以前的版本就有点“力不从心”了。
1.2 现在 Computer Use 多了什么能力?
这次更新的最大亮点,一句话总结就是:Codex可以直接“使用”你的电脑了。OpenAI官方对Computer Use的描述很清晰:Codex可以查看屏幕内容、截取屏幕信息,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。换句话说,它像人一样观察界面,然后通过点击、输入、切换窗口来完成你交代的任务。
打个比方:以前你让Codex“帮我查一下这个表格里的数据”,它只能打开终端跑个脚本;现在你只需要说“帮我打开Excel,把这个CSV文件导入,再列个汇总”,Codex就能真的去点开Excel、找菜单、完成操作。以前Windows上Codex只能操控浏览器,现在整个电脑桌面都可以交给它了——当然,实际执行时还需要你授权和审批,可以随时喊停。
二、Codex 电脑操控功能如何开启?
2.1 方法一:通过更新弹窗直接开启
(1)打开 Codex 后出现更新弹窗
一般情况下,如果你的Codex版本已经推送了新功能,打开后会自动弹出一个更新或功能介绍的窗口。弹窗内容大概会提示“Codex移动版上线”或者“新的电脑操控功能可用”。这时直接点击【开始设置】,就能跟着引导一步步开启。Codex会提示你:只要电脑处于唤醒状态,就可以在手机上通过ChatGPT应用继续使用Codex。这其实和Codex的远程控制、移动端联动有关——电脑仍然作为项目文件、终端、应用服务器的主机,手机端可以查看、审批、继续任务。
(2)点击开始设置即可
如果弹窗出现了,最简单的流程就是:打开Codex → 等待弹窗 → 点击“开始设置” → 根据提示完成授权 → 进入电脑操控配置页面 → 安装对应的Computer Use能力。如果暂时不想设置,也可以点“稍后设置”。不过既然要体验Computer Use,建议直接点开始设置,能省不少事。
2.2 方法二:在设置中手动开启
(1)进入 Codex 设置
如果打开Codex后没有看到弹窗,也不用担心,手动进设置页面一样能搞定。
(2)找到电脑操控
进入设置后,左侧找“电脑操控”,英文对应的是“Computer Use”。这个页面的作用就是管理Codex如何使用你电脑上的其他应用程序。从截图中能看到,页面里有一个“控制”区域,包含两项:
- 任意应用:允许Codex控制你电脑上的应用;
- Google Chrome:浏览器扩展程序状态,如果没有连接会显示“浏览器扩展程序未连接”。
OpenAI官方文档也说明,需要在Codex设置里打开Computer Use,然后点击“Install”安装Computer Use插件,之后才能让Codex操作桌面应用。Windows使用时,需要保持目标应用在当前活动桌面可见。
(3)在任意应用中点击安装
如果你看到“任意应用”右侧有“安装”按钮,直接点击安装即可。安装完成后,Codex就具备了操作Windows应用的能力。这里要注意:不是所有应用都该随便授权——涉及支付、账号、安全、隐私的软件要谨慎。尽量只让Codex操作当前任务需要的软件,别一次性给太多高风险权限。比如你只是想让Codex帮你打开VS Code检查项目,就没必要让它去操作微信、网银、密码管理器之类的软件。
三、如何在对话框中调用 Codex 操作电脑?
3.1 选择 Computer Use 工具
开启之后,在Codex对话框中就能看到类似“Computer Use: Computer Use”这样的工具提示。这说明当前对话已经可以调用电脑操控能力了。你可以在输入框里直接描述任务,比如“帮我打开VS Code,进入当前项目,运行程序并检查报错”。官方文档还提到,可以在提示词中带上 @Computer 或 @AppName,或者直接让Codex使用Computer Use,并说明具体要操作的应用、窗口或流程。
3.2 选择审批模式
从截图里可以看到,在发送任务前,你可以选择审批方式。常见的有三种:
- 请求批准:最安全的方式。Codex在编辑外部文件、访问互联网或执行某些动作之前,会先询问你。适合新手首次测试Computer Use。
- 替我审批:相对自动化。Codex只会在检测到风险操作时请求批准。适合你已经比较熟悉Codex,且任务风险较低的情况。
- 完全访问权限:权限最高,可以不受限制地访问互联网和电脑文件。效率高但风险也最高。除非你非常确定任务范围并已做好备份,否则不建议随便使用。
OpenAI官方也提醒,Computer Use可能会影响项目工作区之外的应用或系统状态,所以应该保持任务范围清晰,并在继续前仔细检查权限提示。
3.3 输入任务指令
开启后,你就可以像正常聊天一样给Codex下任务。比如:
使用 Computer Use 打开 VS Code,进入当前项目,帮我运行程序并检查报错。
或者:
打开 Chrome,访问本地前端页面,点击登录按钮,检查是否能正常跳转。
或者:
打开记事本,把下面这些零散内容整理成一篇干净的草稿。
关键一点:任务描述越具体,Codex操作越稳定。不建议一上来就说“帮我操作电脑”这种模糊指令。
四、使用时需要注意什么?
4.1 Codex 会看到屏幕内容
Computer Use的本质是让Codex通过屏幕内容理解当前电脑状态。所以你必须知道:使用期间,Codex会看到你屏幕上的所有内容,包括你在其他窗口里打开的软件、聊天记录、网页、甚至密码输入框的界面(虽然它不会主动去读,但理论上可以)。官方安全说明明确提到,使用Computer Use时,Codex可以查看屏幕内容、截屏,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态交互。因此,使用前最好先关闭不相关的软件,尤其是涉及隐私、账户、支付类的窗口。这不是说Codex一定会乱看,而是使用这类功能时,主动降低风险总是明智的做法。
4.2 敏感操作需要谨慎审批
使用Computer Use时,最好遵守几个原则:
- 任务要小:不要一次让它做太大的任务。比如别说“帮我整理整个电脑”,而应该说“帮我打开D盘Code文件夹,把里面的C++项目按章节命名整理”。
- 应用要少:一次只让它操作一个或少数几个应用。
- 高风险操作要人工确认:比如删除文件、移动大量文件、提交Git、推送代码、发送邮件、修改系统设置、填写账号密码、执行支付购买等,这些最好都手动确认。
官方文档也建议保持任务范围窄、审查权限提示、对账号安全和隐私相关流程保持在场,并且如果Codex开始操作错误窗口,要及时取消任务。
4.3 Windows 11 更推荐,Windows 10 可能不稳定
从实际体验来看,建议优先在Windows 11上开启和测试Computer Use。OpenAI官方已经说明Codex支持Windows App,并且Windows版本可以配合PowerShell、Windows沙箱或WSL2使用。Windows 10虽然也能用,但某些情况下可能存在兼容性问题或不稳定表现。