OpenAI 用 Codex 修 ChatGPT 性能,1700 次调查只直接合入 15 个 PR

三个多月时间,跑了超过 1700 次自动化性能调查,平均每天 17 次,最后真正原封不动合并上线的 AI 代码修复,只有大约 15 个。

这不是某个小团队的玩具实验,这是 OpenAI 官方在 11 月 19 日公开的内部工程数据。他们给这套基于 Codex 的内部系统起了一个很工业化的名字,叫 Performance Factory,专门用来帮 ChatGPT 抓性能回归问题。

很多开发团队都在幻想一件事:线上服务变慢了,AI 自己看日志、自己找原因、自己提 PR 修好,工程师睡一觉起来系统已经恢复正常。OpenAI 这次把真实漏斗摊在了桌面上,数据比口号诚实得多。

告警一响,云端拉起一条四步流水线

ChatGPT 这种体量的在线服务,每天都有大量代码上线。某次改动一不小心拖慢了接口响应,以前需要工程师去翻日志、看监控指标、顺着分布式链路追踪一行行排查,非常消耗精力。

Performance Factory 做的第一件事,就是把这套排障动作接管过去。OpenAI 在博客里重点拆解了其中已经跑通的 Regression Workflow,也就是性能回归工作流,整个过程分四步走。

第一步是告警触发调查。只要性能告警一响,云端就会自动拉起一个 Codex 任务。这个任务不是干巴巴地去读代码仓库,它接进了 OpenAI 内部的遥测工具,可以直接查线上日志、监控指标和链路追踪数据,像一个经验丰富的 SRE 一样顺藤摸瓜找根因。

第二步很有意思,叫对抗式复核。写过 Agent 的人都知道,大模型查问题特别容易犯确认偏误,抓到一个可疑线索就开始自圆其说,甚至产生幻觉。为了按住这个毛病,OpenAI 专门安排了另一个独立的 Codex 会话,用全新的上下文去挑刺,专门核对前面那位兄弟交上来的诊断证据和遥测数据靠不靠谱。

第三步才是提修复方案和人工把关。哪怕过了对抗复核,Agent 生成的 PR 也绝对不能自己合并,必须交给人类软件工程师审核上下文、指标和代码改动,拍板通过后才能上线。

第四步是上线后回验。代码发布之后,还会再派一个 Agent 去盯线上遥测数据,确认性能指标真的回到了基线水平,整个工单才算闭环。

为什么 600 多个根因,只变成 15 个直接 PR

把这三个多月的漏斗数字连起来看,你会发现一个非常陡峭的落差。

1700 多次自动调查里,Codex 成功定位到根因的有 600 多例。OpenAI 自己做过人工抽样评估,根因判断的准确率大约在 70% 左右。到了修复阶段,大约有 400 例推进成了具体的代码修改方案。最后真正落地到生产环境的,有大约 50 个上线修复采纳或参考了 Agent 的建议,而完全由 Codex 自己写出、人类几乎没改就直接合并的 PR,只有约 15 个。

从 1700 多次调查到 15 个直接 PR,转化率不到百分之一。

原因其实很真实。OpenAI 自己在复盘里也点透了,定位到「哪里慢了」和「怎么安全地把它修快」,完全是两回事。如果问题很局部、很孤立,比如某个地方出现了重复序列化,Codex 顺手加个缓存或者复用对象就能搞定,表现非常稳。

但只要牵扯到复杂的系统架构权衡,Agent 就容易掉链子。比如为了降延迟,它可能会建议在某个环节加一层缓存,却忽略了缓存带来的脏数据、数据过期和一致性风险;或者面对一个新功能本身就会带来的固有延迟,它给不出结构性的取舍方案,反而写出过度复杂的补丁。

再加上那道对抗式复核的关卡,目前大约有 25% 的初始诊断会被直接打回重查。自动化生成补丁虽然省了人力,但也制造了新的验证成本,最后人类工程师审 PR 的注意力依然是整条流水线上最稀缺的瓶颈。

对一线研发团队的启发

看完 OpenAI 这份成绩单,如果你正在评估要不要把 AI Agent 放进自家的运维和研发流里,心态可以务实很多。

别急着去追求什么「无人值守全自动自愈」。哪怕是 OpenAI 自己用自家的 Codex 跑自己的核心产品,也把人类工程师的最终审核卡得死死的。在生产环境里,写错一行性能优化代码引发的故障,往往比接口慢几百毫秒更致命。

真正立刻能产生高回报的用法,是把 AI 当成一个不知疲倦的初级排障员。每天 17 次自动调查,哪怕最后只有三成多能准确定位根因,也已经帮一线工程师挡掉了大量翻日志、查监控的枯燥体力活。工程师不需要从零开始大海捞针,只需要站在 AI 整理好的遥测证据和初步方案上做判断。

至于那 25% 被对抗 Agent 打回的诊断,也给所有做 Agent 工程的人提了个醒:让同一个模型既当运动员又当裁判员很难靠谱,用独立上下文做交叉质检,正在变成生产级工作流的标配。

AI 确实把发现和定位问题的成本打下来了,但只要最终上线的责任还在人身上,工程师的判断力和架构取舍就还远没到退场的时候。你所在的团队现在敢让 AI 自动查线上告警吗?还是已经开始试着让它提修复 PR 了?

相关推荐
ndz9 小时前
PixVerse 768 个官方特效模板:Playground 预览,再用 API 批量出视频
ai编程
LV技术派12 小时前
肝了一周,我把 Super Agent 的架构融入到了我的 AI Native 工作台中
aigc·ai编程
孟健14 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
工程小白菜17 小时前
ai-code-review 全链路:让 AI 来审 AI 的代码
ci/cd·ai编程
小虎AI生活18 小时前
8万星开源HyperFrames,我用WorkBuddy免费模型做了3条视频
aigc·ai编程
AI大模型-小华21 小时前
Codex 自动测试怎么用?从生成测试用例到修复失败用例
git·测试用例·ai编程·软件开发·codex·chatgpt pro·codex cli
huangfuyk21 小时前
前端融入/转后端避坑指南:AI 时代的安全边界、数据防线与实战细节
后端·ai编程
ZzT1 天前
AI-SDLC 实践 06|开发阶段的知识库:Agent 写代码前该读哪些规则和业务知识
ai编程·claude
Bigger1 天前
我扒了 GitHub Trending 前 20,8 个在做同一件事:给 Coding Agent 造基础设施
开源·github·ai编程