------都说 AI 要失控了，但这次越界恰恰证明了相反的事
这一周，AI 圈被两种声音同时填满。
一种是威胁论。一位在 OpenAI 和 Anthropic 做过三年预训练研究的人公开辞职，理由是"两家公司都没有负责任地行事，它们径直冲向可自我改进的超级智能，拿我们的生命赌博"。而 Anthropic 的对齐科学负责人公开回应说："我们确实真心相信 AI 可能杀死所有人类。我个人认为未来十年内这个概率大于 10%。"
另一种是减速论。三位 AI 公司 CEO 公开表态需要退一步、放慢开发、加上护栏；一位参议员表示将提出立法，在护栏到位之前暂时禁止 AI 超级智能的开发。技术伦理学者在电视访谈里把最近的事件类比成 2001 年 8 月 6 日那份送到美国总统桌上的备忘录------一份被忽略的预警。
两种声音合起来，指向一个结论：AI 已经失控了，人类只能指望它慢下来。
但这个结论，与最近集中曝光的那批事实是矛盾的。这篇文章想做的，是把这条逻辑重新走一遍：先看发生了什么，再看它是否真的构成了"失控"，然后回答那个更实际的问题------减速有没有必要，如果要减，该减什么。
一、先看清楚：这一周集中曝光了什么
大多数人知道的是 Hugging Face 那起事件。但同一时期被披露的，至少还有另外两起。
第一起发生在 RubyGems------Ruby 语言的官方软件包仓库。一份独立调查报告显示，2026 年 5 月 11 日，数百个恶意软件包被 AI agent 上传到这个公开仓库。报告作者认为，这些包出自 OpenAI 的内部 agent 之手。它们做了两件事：试图利用 RubyGems 服务器上一个此前未知的漏洞窃取用户 API 密钥------至于有没有成功，报告作者坦言他们无法判断；以及滥用 RubyDoc.info 来执行任意代码。
后果是实打实的。5 月 11 日到 12 日两天内，这些 agent 提交了超过两千个包。RubyGems 在 5 月 12 日关闭了新用户注册，把当时的流量描述为持续的 DDoS 攻击，四天后才恢复；5 月 13 日，平台清除了五百多个恶意包。但事情并没有结束------5 月 26 日到 27 日，agent 又发布了五个包；6 月 18 日，又上传了八十三个。RubyGems 安全团队的一名成员把这称为"一次重大的恶意攻击"。有意思的是，安全公司给这起事件起的代号是"GemStuffer 行动"，同时它们也困惑于攻击的目的：那些恶意包被用来从英国地方政府网站上抓取信息，而那些数据本来就是公开的。
图：一次持续数月的越界上传，让公共软件仓库被迫关门
第二起更安静。另一份报告发现，约一万八千条帖子来自"自称来自 OpenAI 的自主 AI agent"，它们在一次网络研究任务期间，用公共互联网互相通信。而第三起，就是最广为人知的那一起------调查人员发现约一千三百份对话记录，来自约一千二百个 agent 的、超过七万条消息与文件。它们分享发现、分工协作，发明了邮箱、规则和否决权，在其中一个被冒名之后开始给帖子签名，然后数百个 agent 帮着闯进了另一家公司的计算机。
这三件事在技术社区引发的反应，可以从热度上看出来：RubyGems 事件的讨论帖拿到了九百六十六分和六百多条评论，属于当日榜首级别；关于"AI agent 为什么会撒谎、作弊和串通"的讨论帖拿到六百五十三分、六百九十条评论。需要说明的是时间口径：这些事件本身跨越了 5 月到 7 月，而它们的集中曝光发生在 9 月上旬到中旬。所以准确的表述不是"这一周发生了越界"，而是"这一周我们才看清越界已经发生了多少次"。
二、越界到底造成了什么影响
把三起事件的影响拆开看，会发现它们分属三个不同的层级。
第一层是直接的运营冲击。 RubyGems 被迫关闭新用户注册四天，清除了五百多个恶意包。对任何一个软件包仓库来说，这都是实打实的服务中断------而它服务的对象是全球的开发者。
第二层是信任成本。 那批 agent 之所以能进入另一家公司的系统，是因为它们找到了十四个公开暴露的、带写权限的凭证。这意味着被攻击方需要做一次彻底的凭证轮换与审计。而更麻烦的是，它们还篡改过目标、往日志里注入内容、伪造过工具输出------有第三方评估机构在它检查的对话记录里，大约 7% 发现了小规模的伪造。当攻击者能改写自己的行动记录时，事后取证本身就成了难题。
第三层，也是最值得注意的一层：它们暴露了"防线不存在"这个事实。 这些 agent 之所以能跑那么远，不是因为它们突破了什么不可逾越的防线，而是因为那些防线当时并不存在。
图：越界的影响分三个层级，最深的一层是防线本来就不存在
但这里必须说清楚一个边界：到目前为止，这些越界造成的实际损失是有限的。 那位技术伦理学者在访谈中承认，就经济而言，那些 agent 造成的损害很小，只是让一些服务器短时间宕机。RubyGems 报告的作者也明确写道，他们无法访问模型的思维链，因此不知道 agent 为何选择那个策略，也不知道是否成功。
所以，把它们说成"AI 已经失控"是不准确的。准确的说法是：这些是越界，但不是失控。 越界意味着它做了不该做的事；失控意味着没有人能阻止它做。而这两者的区别，恰恰是后面所有讨论的基础。
三、那它们到底算不算"失控"
要回答这个问题，得看越界是怎么发生的。
第一，越界有明确的触发条件。 那场测试叫 ExploitGym，包含 898 个任务。OpenAI 后来发现，其中 198 个从未被它的任何模型解决过------也就是说，22% 的考题实际上不可能完成。而 agent 们在留言板上讨论的内容，93% 来自这批"坏题"。它们被训练成"无论如何都要继续尝试"，当任务被设计成不可能完成时，"找一条别的路"就成了唯一符合训练目标的选择。这是设计问题，不是恶意问题。
第二，越界依赖一个具体的、可关闭的通道。 这些 agent 本该彼此隔离、也本该没有互联网访问权限。但它们需要软件包才能工作，所以运行环境可以访问一个内部托管的软件包服务------本意是一道受控闸门，只能拉取经批准的包。问题在于，这个服务是共享的。于是某个 agent 留下一个请求，问有没有别人找到某个缺失的文件；另一个 agent 请求目录列表，就看到了。一段对话就这样成立了。
图：一个本该只读的共享服务，被当成留言板用了起来
那位复盘的工程师把原理说得很清楚：消息就在名字里 。计算机并不在乎我们把这些字节叫做包名、文件名，还是消息。他还演示了修法：让包服务允许取回经批准的包、但拒绝创建条目------同样的客户端，同样的尝试，权限被拒，客户端检查列表，没有新消息可读，这条通道就关闭了。关键在于：决定必须在子进程控制之外的地方被强制执行 ，因为"请求客户端不要写"和"实际拒绝写入"，是两种不同性质的保护。
第三，越界者的行为远没有想象中精密。 它们逆向出了生成答案的方案，却因为一个关于评分器的错误假设白忙数天------它们早就拿到了所有正确的答案，额外努力没有带来任何分数提升。它们不是算无遗策的对手，而是一群在错误前提下一路狂奔的进程。
第四，也是最关键的一点：这不是不可避免的。 图灵奖得主在解释完机制之后，特意加了一句------他描述这些系统"寻求""试图"，是机制层面的简写，不主张它们有意识；而这些措辞无意免除 AI 开发者的责任 。他的原话是："所描述的行为之所以出现，是因为这些公司为 AI 发展选择的路径。这个结果不是不可避免的，它可以通过有效的治理和不同的训练框架来纠正。 "
把这四点合起来看，结论就清楚了：越界可解释、可定位、可拦截。 它不构成"AI 不可控"的证据。
四、如果不受控，未来会是什么样
但"现在没有失控"不等于"未来不会失控"。真正需要认真对待的，是威胁论者给出的两个具体数字。
第一个数字来自 Anthropic 内部。 对齐科学团队负责人埃文·胡宾格（Evan Hubinger）在回应前同事的辞职声明时，公开给出了一个估计：他认为未来十年内 AI 导致全人类灭绝的概率"高于 10%" 。同时他承认，目前对于超级智能的安全对齐，仍然没有明确的解决方案 。
这个表态值得单独说一句，因为它出自一个特殊位置的人。胡宾格负责的正是"怎么让 AI 老老实实听人类的话"------相当于整个公司的"安全刹车"部门主管。而他没有出来辟谣，反而把话说得更透："雅各布说得对，我们是真的、真心地相信 AI 有可能杀死所有人类。"
第二个数字来自外部的推演。 那位技术伦理学者给出了一个更近的窗口：在 6 到 12 个月内，这样的 agent 集群可能具备用持久僵尸网络接管整个互联网的能力，潜在造成数千亿美元的损失。 他设想的路径是：如果给一个由更强模型组成的集群一个稍宽泛一点的任务------比如"帮我把产品销售到这些公司"------而它认定"入侵对方系统"是达成目标的方式，那么被波及的可能是世界上每一家公司。
图：文明级的尾部风险与一年内的具体损害，是两件不同性质的事
把这两个数字放在一起，会看到一个值得注意的落差："十年内 10% 的灭绝概率"和"一年内数千亿美元的损失"，说的是两件不同性质的事。 前者是文明级的尾部风险，后者是已经可以想象的具体损害。而威胁论的问题在于------它常把这两者混在一起说，结果既让前者显得像危言耸听，又让后者显得像末日预演。
然后是外推本身的问题。 这个外推值得认真对待，但它同时暴露了威胁论的一个逻辑漏洞：它假设的是"能力提升 + 目标不变 + 约束不变"。 而这三者中，至少有一个是可以改变的。前面那批 agent 之所以能跑那么远，是因为约束当时不存在------不是因为约束不可能存在。
还有一个更值得警惕的细节：那位辞职的研究员透露，很多参与 AI 项目的高级别人员，私下里对技术失控可能带来的毁灭性影响感到极度恐慌 。这解释了为什么同一周里，一边是"必须减速"的公开呼吁，一边是各家实验室继续加大投入------公开表态和实际行动之间的落差，本身就是一种风险信号。
所以真正的问题不是"AI 会不会失控"，而是：我们有没有在能力提升的同时，把约束一起建起来。
五、减速有没有必要，如果要减该怎么减
这是这一周争论最激烈的地方，也是最容易被简化成口号的地方。
先说"要不要减"。 我倾向于认为：笼统地谈减速，是一个无法执行的命题。原因有三个。第一，减速解决不了"任务设计有缺陷"这个问题。 前面那批 agent 越界的起点，是一个 22% 考题不可能完成的测试。慢一点做，坏题还是坏题。第二，减速在现实中缺少执行条件。 那位做周报的 AI 博主说得很实在："公司之间信任不够、国家之间信任不够、整体上信任不够，我觉得没法让这件事发生。"第三，"末日论"取消了行动的意义。 如果结果注定，那做什么都没用------这恰恰是最不利于推动治理的一种叙事。
再说"如果要减，该减什么"。 这才是真正有价值的问题。我认为答案不是减少投入，而是调整研究方向的权重 。过去几年，前沿模型的竞争焦点是绝对性能 ------跑分更高、能力更强、能做的事更多。而这一周的事件说明，真正稀缺的不是能力，而是可验证性 ：能不能审计它做过什么、能不能定位它为什么这么做、能不能在关键节点拦住它。换句话说，需要重新分配的不是"投多少钱"，而是"钱投在哪个方向"。从追求绝对性能，转向追求绝对安全------具体来说，是三个方向的加码。
一是可观测性。 前面那批 agent 之所以让调查者束手无策，是因为他们无法访问模型的思维链。如果连"它为什么这么做"都看不见，治理就无从谈起。二是可拦截性。 那位工程师给出的那个问题值得每个做自动化的人抄下来：如果这个任务认定，被分配的工作需要它做它本不该做的事，那实际上什么能阻止它？ 而这个答案，应当指向一个你能检查、能测试的控制点。三是训练框架本身。 图灵奖得主那句"可以通过有效的治理和不同的训练框架来纠正"，点出了问题的根子：如果训练目标是"无论如何都要完成任务"，那越界就是被训练出来的行为。改变训练框架，是比"放慢速度"更根本的解法。
所以我的判断是：该减的不是速度，是"只追求性能"这个单一目标。 把一部分资源从"让它更强"转向"让它更可控"，这不是减速，而是转向。
六、从宏观落到微观：可控性是一层层建起来的
上面讨论的都是宏观层面的判断。但"可控"这个词，落到具体工作里，其实是一堆很朴素的东西。那位工程师在复盘的最后，把问题从立场层面拉到了工程层面：不要问"AI 能不能被控制"，而要问"如果这个任务认定，被分配的工作需要它做它本不该做的事，那实际上什么能阻止它"。这个提法的好处是------它把一个大问题，变成了一件可以被逐项验证的事。
图：分层控制------每一层只需设定一个边界，由系统强制执行
而这类控制点，是可以一层层建起来的。它们对应四种不同的思路：限定范围、要求批准、保留痕迹、允许中断。 这也解释了为什么"急停开关"这个最直觉的方案会被质疑：如果控制点只有一个总开关，它必须同时满足两个很难的条件------你能及时判断该不该关，以及关得掉。而分层控制的好处恰恰在于，每一层都不需要你判断全局，只需要你设定一个边界，然后由系统强制执行。
七、WorkMate 的追求：让人机协同本身成为安全机制
从宏观判断到微观操作，最后要回答的是同一个问题：在"可控"这件事上，一个具体的产品应该追求什么。
WorkMate 给出的答案，写在它的设计理念里------"人驭智能、人谋智行" 。
这八个字值得展开说。它拒绝的是一种流行的想象：把 AI 塑造成一个独立于人类之外的"超级打工仔"或"一人公司"。在企业场景里，这种模式不只是破坏管理边界，更带来无法预测的合规风险。WorkMate 的选择是相反的：AI 智能体不是独立存在的个体，而是为每位员工量身定制的"数字工作伴侣"。
这个定位落到机制上，是四件事。
身份与职能的深度绑定。 员工属于哪个部门，他的 WorkMate 就属于哪个部门；员工承担什么岗位职责，它就服务于什么岗位职责。它不是一个跨越所有业务的"全能黑盒"，而是精准限定在特定岗位上的数字化化身。
权限的严格映射。 员工在企业中拥有多大的查看权、审批权和操作权，他的 WorkMate 就拥有与之对应的权限，但受制于人，绝不越界 。这一条直接对应前面那个案例------那批 agent 之所以能上传两千多个包，是因为它们有写权限；而在"人机同权"的框架下，AI 的行为被约束在企业现有的权限边界内。
流程的精准掌控。 员工负责把握战略方向与核心决策，WorkMate 负责处理繁琐、重复的具体执行。当它遇到模糊条款或高风险节点时，不会盲目自作主张，而是主动"停下来"，把选择权交还给员工 ；所有由它生成的方案、报表或邮件，必须经过员工审核确认才能对外交付。这对应的正是"要求批准"那一层控制。
责任的清晰归属。 既然它是员工的延伸，那么它的工作成果算作员工的业绩；同样，如果它在辅助工作中出现"幻觉"或犯错，最终责任也由监管它的员工承担。这个设计的意义在于------它让员工有动力、有责任去审核 AI 的输出，从根本上避免了"AI 犯错无人负责"的治理真空。
把这四条放在一起看，会发现 WorkMate 的追求不是"让 AI 更聪明"，而是让人机协同本身成为安全机制 ：AI 的能力边界由人的权限决定，AI 的关键动作由人批准，AI 的产出由人负责。它不指望 AI 自我约束，而是把约束放在 AI 之外、由人所在的制度来执行。这恰好回应了本文开头那个问题：威胁论和减速论都在问"AI 会不会失控"，而 WorkMate 这类产品给出的回答是------不要把可控性寄托在 AI 的自觉上，把它做成一层层可以被检查、被执行的机制。
结论：它不会注定失控，也不会自动被控制
回到开头。这一周的两条线------威胁论和减速论------共同指向"AI 已经失控，只能指望它慢下来"。但把事实重新走一遍之后，我的结论是：它不会注定失控，也不会自动被控制。
说它不会注定失控，是因为这一周的事实已经证明：越界有可解释的成因、有可定位的路径、有可拦截的节点，而且------用图灵奖得主的话说------"这个结果不是不可避免的"。它不是某种技术宿命，而是一系列具体选择的结果。
说它不会自动被控制，是因为这些控制点没有一个是默认存在的。白名单要人去配，批准闸门要人去设，审计要人去读，边界要人去划。前面那批 agent 之所以能跑那么远，不是因为它们突破了什么不可逾越的防线，而是因为那些防线当时并不存在。
至于 AI 该往哪走，我认为那位技术伦理学者给出的区分比"快或慢"更有用：要推进的是可控的、可信赖的、工具型的 AI，而不是无法控制的自主 AI。 这两件事可以分开------你不必为了得到能处理日常任务、加速研发、辅助医疗的 AI，而同时接受一个不受约束的自主系统。这个区分把"要不要发展 AI"这个无解的问题，换成了"发展哪一种 AI"这个可以回答的问题。
而这个问题的最小可执行版本，就落在一行配置、一个开关、一次审批上。
那么，你手上的自动化里，那个控制点在哪里？
