先承认焦虑
REA 三天十二万星,无源码就能逆向;GLM-5 能自主跑八小时工程任务,官方 harness 直接面向"前后端交付"。每次这类新闻出来,我的读者群、我的同事、包括我自己,都会重新问一遍那个问题:程序员是不是要没了?
这篇文章不聊观点,聊一次实操:过去两个晚上,我一个人用 AI Agent(Claude Code + 国产模型 API)从零做出了一份数据产品------32 个品牌 × 720 次 AI 问答的行业报告,外加一个可以季度复测的监测管线。总 API 花费不到 20 块钱。
过程里最值钱的不是 Agent 写得多快,而是六次"如果全自动就翻车、被人审拦下来"的瞬间。先给结论:
Agent 把"实现"的价格打到了地板上,但"判断"和"负责"的价格在上涨。 程序员的新岗位描述是:写 Spec 的人 + 审核节点的人 + 为结果署名的人。
这个项目是什么
简单交代背景(细节在前两篇文章里):我测了 32 个智能清洁品牌(石头/科沃斯/追觅/iRobot/Dyson...)在 AI 引擎里的"可见性"------用户问 AI"best robot vacuum"时,谁被推荐、排第几、AI 怎么评价"XX 靠谱吗"。产出:一份 8 章节的 HTML 报告 + 每个品牌一页的"AI 体检单"。
工程上它很朴素:Python + 几家模型 API,采集/解析/聚合/报表,38 个单测。工程量两天,这正是重点------两年前这个管线值一个小团队两周,现在值一个人两个晚上。你的技能溢价不在"能写出来"上了。
分工:人做什么,Agent 做什么
复盘下来,人和 Agent 的分工边界非常清晰:
| Agent 做(实现层) | 人做(判断层) |
|---|---|
| 按配置生成 360 个测量问题 | 选品类、定"什么值得测"(品类选错全盘皆输) |
| 并发采集、重试、断点续跑 | 核验品牌名单和域名(搜出来的资料一半要修) |
| 写正则匹配、聚合指标、出 HTML 报表 | 决定指标口径(见第四次拦截) |
| 写 38 个单测并跑绿 | 看数据讲故事:哪个发现能当标题 |
| 自动重试失败的请求 | 发布、署名、对数字负责 |
Spec 先行是关键:动手前先写了一份完整设计文档(样本分层、五维问题集、指标定义、报告结构、红线),Agent 照 spec 执行,人只在关键节点介入。Spec 的质量直接决定 Agent 产出的质量------这是新工种的核心技能。
六次"人审拦截":全自动会翻车的真实瞬间
这部分是全文最值钱的。每一条都是真实发生的,每一条如果无人审核,报告就是错的:
拦截一:引擎在"假装联网"。 配置了联网搜索工具的引擎,实测回答开口就是 "As of my last update",推荐的是 2022 年的老机型。写了个探针脚本验证:响应里根本没有搜索结果字段。→ 全自动系统会把"训练记忆"当成"实时搜索"上报,整个方法论作废。处理方式反而是把它变成了特色:拆成"记忆层/搜索层"双模型测量。
拦截二:引文张冠李戴。 报告引用的"AI 对科沃斯的评价",原文居然出自"Is Roborock legit?"的回答------那句话顺带提到了 Ecovacs 而已。自动抽取逻辑完全"正确"(句子确实包含品牌名),但语义上是错的。→ 修正为只引用该品牌自己被提问时的回答。
拦截三:两套解析器,两个世界。 LLM 解析出的提及率(32%)和正则解析(57%)对不上。原因是 LLM 会"漏数"它认为不重要的提及。→ 最终架构:提及率用确定性正则(可复现、和已发布文章一致),裁决/情感用 LLM(正则做不了)。口径一致性是数据产品的生命线,没有任何 Agent 会主动替你守。
拦截四:别名。 回答里说 "Roomba" 不说 "iRobot",不说 "Deebot" 不说 "Ecovacs"。没有别名机制,头部品牌的数据全是错的。
拦截五:API key 写进了日志。 错误信息里带着完整的 key URL。Agent 写的代码功能正确,安全意识为零。→ 改请求头传 key + 日志脱敏 + 重置泄漏的 key。
拦截六:模型悄悄退役。 某模型返回 404,错误信息只有"Not Found"。翻出响应体才发现真实原因是"该模型已对新用户关闭"。→ 所有引擎错误现在都带响应体摘录。
看到规律了吗?六次拦截,没有一次是"代码写错了",全部是事实核查、口径定义、安全边界、语义判断------恰恰是"为结果负责"的那部分。Agent 的产出越快,人审节点的杠杆越大:你审的是两天产出的所有价值。
回到那个问题:程序员没了吗
我的答案:"出售实现时间"的岗位在收缩,这件事已经发生;但"定义问题 + 审核判断 + 署名负责"的位置,现在比任何时候都稀缺。
能力还是那些能力------工程素养、系统思维、数据敏感。变的只是挂载点:挂在"帮别人写代码的工时"上,贬值;挂在"自己名下的数据资产/产品/报告"上,升值。这两个晚上我做的东西,代码部分任何人(包括任何 Agent)两天就能复刻------但已积累的基线数据、署名的报告、和读者的信任,复刻不了。
所以别问"还能不能写代码",问"我的下一次产出,署名是谁,资产归谁"。
如果你想复制这条路
- 选一个你有信息差的垂直领域(行业、数据、社群都行)
- 写 Spec:要测什么、口径是什么、怎么验证------先写文档再动手
- 让 Agent 搭管线,你守三类节点:事实核验 / 口径定义 / 发布署名
- 把过程本身写成内容(你正在读的就是)
- 每季度复测一次------时间序列是后来者无法回溯复制的资产