Fig 团队 10 月 13 日发布《MultiNet v2.0》评测续篇：GPT-6 Astra 与 Claude Opus 5.5 被放进同一批 50 个交互式 2D MiniGrid 迷宫 ------Astra 解出 11 个，Opus 5.5 解出 7 个，上一代最强的 Opus 4.8 只解出 4 个。数字本身是一次能力跃迁，但真正让人后背发凉的是另一组数据：35 个含「开关-门」机制的迷宫，5 个模型、175 局，0 解。它们撞上的不是「能力墙」，而是「机制先验墙」------两个当今最聪明的模型，会走、不撞墙、能解 89 步的走廊，却解不开一条需要「站到开关上按 TOGGLE」的规则。这篇文章拆六件事：评测账本怎么记、视界为什么不再是瓶颈、两种失败模式差在哪、开关机制为什么团灭、一句 prompt 为什么能改变一切、以及做 agent 工程的你该带走什么。
一、评测账本：50 个迷宫，protocol 苛刻到什么程度
先看账本。上一轮初版评测（Opus 4.8、Kimi K2.6、Qwen 3.6-27B）跑了 150 局，6 局解开，50 个迷宫里 45 个从未被任何模型解出。这一轮把 GPT-6 Astra 和 Opus 5.5 放进同一批迷宫，协议一字不改：
| 模型 | 解谜 / 50 | 平均动作进度 | 撞墙率 | 每新格 token |
|---|---|---|---|---|
| Claude Opus 4.8（上轮最强） | 4 | 0.14 | 82% | 6,297 |
| Kimi K2.6 | 1 | 0.18 | 52% | ≥162,222 |
| Qwen 3.6-27B | 1 | 0.18 | 51% | 123,120 |
| Claude Opus 5.5 | 7 | 0.34 | 2% | 4,504 |
| GPT-6 Astra | 11 | 0.45 | 7% | 2,172 |
迷宫集：11 个 8×8、19 个 10×10、20 个 14×14；35 个含开关-门机制、15 个不含。协议的几个关键设定，决定了「失败」二字的重量：
- 最小 prompt：只给任务指令和合法动作列表，环境规则与机制操作方式一个字不提；
- 纯图像观察：当前状态只有渲染图，没有任何文字描述；
- 自我中心动作：左转、右转、前进 + PICKUP / TOGGLE / DROP / DONE；
- 零样本：不提供任何解过的轨迹做参考；
- 无多轮历史 ：每一步的查询都是一条自包含消息，只带起点、当前 step 之前的机制事件文字摘要、最近 3 帧画面、物品栏与上一步动作；
- 停滞看门狗：连续 30 步「位置 + 物品 + 机制状态」毫无变化，直接判负终止（stall kill）；
- 步数上限：每局最多走「最优解步数 × 3」，预算随难度伸缩而非一刀切；
- 思考档位：两模型均 xhigh 思考、64k 输出上限（同上一轮）。
与上一轮唯一的差别：开关的渲染改了------以前是个实心圆（和 MiniGrid 里可捡的球一模一样），这一轮画成关时中心暗、开时中心白的圆环。作者想验证：模型解不开开关，是不是因为根本没看见它变了。答案是否定的，后文会给出证据。
二、视界不再是瓶颈：一次静默的能力跃迁
上一轮评测最重要的发现是「进度随视界衰减」：最短路径越长，模型走得越近但到不了。这一次，作者用 R²（路径长度对进度差异的解释力）复核了这条结论，前沿模型交出了完全不同的答案：
| 模型 | 路径长度解释力（R²） | 进度随迷宫变长的秩相关 |
|---|---|---|
| Claude Opus 4.8 | 21.2% | −0.84 |
| Qwen 3.6-27B | 17.9% | −0.51 |
| Kimi K2.6 | 10.9% | −0.23 |
| GPT-6 Astra | 1.9% | −0.05 |
| Claude Opus 5.5 | 0.3% | +0.08 |
路径长度对 Astra 和 Opus 5.5 几乎不再有解释力------它们解不开迷宫，和「迷宫太长」基本无关 。证据在 14×14 长迷宫上：Astra 解出 3 个需要 77--85 步的走廊，Opus 5.5 解出 4 个需要 77--89 步的；而上一轮模型在这类长迷宫上 60 局 0 解。两模型合计解出 12 个不同迷宫：6 个都解出，5 个只有 Astra，1 个只有 Opus 5.5------那条 89 步的 14×14 走廊，此前没有任何模型解出过。
导航质量同样跃迁。Opus 4.8 有 82% 的前进行动撞墙，Kimi / Qwen 在 51--52%，而 Opus 5.5 只有 2% ------确切地说，它 1,065 步前进只撞墙 1 次 。Astra 7%。更值得玩味的是失败方式：Astra 全部 39 次失败、Opus 5.5 全部 43 次失败，无一例外全部死于停滞看门狗，而不是撞墙或超时；而且它们卡死的位置比上一轮靠后得多（上一轮 Opus 4.8 有 28 次失败在「探索 ≤4 格」时就停滞，Astra 只有 1 次、Opus 5.5 只有 3 次）。
两个模型的思考量也印证了「它们在用力」：卡死前 30 步，Astra 每轮思考量是此前的 1.57 倍 ，Opus 5.5 是 1.55 倍；上一轮模型没有这个趋势（Opus 4.8 反而更少，0.63 倍）。绝对量上，Opus 5.5 每轮中位数 1,230 token，Astra 535------都远低于 Kimi（约 20,300）和 Qwen（约 16,400），但高于 Opus 4.8（约 282）。
效率账本上 Astra 最漂亮：每探索一个新格花 2,172 token，Opus 5.5 是 4,504，Opus 4.8 是 6,297，Qwen 123,120，Kimi ≥162,222。整轮 50 局总输出：Opus 5.5 花 4.10M token（Opus 4.8 的 1.99 倍、Astra 的 1.76 倍），Qwen 48.0M，Kimi 67.0M。唯一的坏消息：在 Astra 的 50 局内部，思考越多的局走得越近但离终点越远------只有它存在「想得越多越差」的相关性。
三、两种完全不同的失败模式：一个迷路，一个空转
把失败放大到「最后 30 步」，两个模型的死法完全不同。
Astra 在原地打转。 它最后 30 步撞墙率只有 5%（Opus 4.8 是 91%、Kimi 28%、Qwen 26%）------它行动自由，不碰墙。问题在于：这 30 步覆盖的格子中位数只有 7 个，而且全部是它之前已经走过的 。它在失败局里探索过的格子中位数是 16 个（上一轮模型只有 4--7 个），也就是说它走得更远、记得更少。在无开关的失败局里，它会在走廊拐角折返，沿着已经走过的走廊来回穿梭------不是不能走，是不记得自己走过。
Opus 5.5 在空转。 它几乎不被墙挡，但大量动作什么也没做成 ：整轮 877 个无效果动作，其中 871 个瞄准的是正前方的物体------对钥匙按 PICKUP、对关着的门按 TOGGLE、对开关按 PICKUP。它最后 30 步里 59% 的动作毫无效果（Astra 10%，上一轮模型 4--6%）。
最刺眼的数字藏在钥匙机制里。这个环境的规则是：钥匙只能站在它自己那格捡 （prompt 没说）。Opus 5.5 站在相邻格、面朝钥匙按 PICKUP 570 次 ，真正站在钥匙上按只有 7 次 （Astra 34/12、Opus 4.8 12/7、Kimi 3/13、Qwen 3/12）。它在 31 个 key-door 迷宫中的 26 个陷入了这个局面，只恢复过来 7 个。它的 8 次无开关失败，全部终结于这个循环。
动作没效果，意味着下一帧画面不变、机制摘要不变，而 prompt 里也没说「你的动作失败了」------于是下一条消息和上一条字节完全相同 。Opus 5.5 的 2,599 条 prompt 里有 472 条与上一条逐字节相同 ，其中 440 条它选择了同一个动作再来一次。有一个 key-door 迷宫里，第 6 到第 32 次查询是同一条消息无限重复。
而一旦不卡进这个循环，Opus 5.5 的导航是完美的：它的 4 个不需要钥匙的解全部最优步数 （23、23、77、89），3 个 key-door 解多走的步数恰好等于它失败的 PICKUP 次数（2、3、12）。其他四个模型没有任何一个最优解。
四、开关-门：175 局 0 解，连改渲染都救不了
开关-门是整篇评测最冷的部分。环境规则：开关要站在它自己那格按 TOGGLE 才会开对应的门；门则在面前那格开关。五个模型在这 35 个开关迷宫上共 175 局，0 解。
先把「改渲染」的假设排除掉：这一轮开关画成了状态清晰的圆环（关=暗心、开=白心），比上一轮的实心球明显得多------两个前沿模型依然 0/35。看不见变化不是原因，不懂规则才是。
开关对进度的杀伤力在统计上非常硬：控制路径长度不变，带开关的迷宫让 Astra 的动作进度平均下降 0.57 （95% CI 0.43--0.70），Opus 5.5 下降 0.38（0.22--0.54）；上一轮模型只降 0.22（Opus 4.8）、0.14（Qwen）、0.07（Kimi）。无开关迷宫上，两个前沿模型的平均进度高达 0.85 与 0.60，而上一轮模型只有 0.24--0.31。
Astra 把开关当物品。 它在 18 个开关迷宫局中站上了活的开关（即开了门的开关），站在开关上按 PICKUP 33 次 、在相邻格面朝它按 30 次 ；它 66 次无效 TOGGLE 里有 63 次打在了门上 ，仿佛门是一扇可以按的门。它从未在站在开关上时按过 TOGGLE。
Opus 5.5 把门当门。 它只有 11 局到达过活的开关；面对开关它发了 108 次 PICKUP （100 次在相邻格、8 次站在上面），而 TOGGLE 只有 1 次 。它 200 次无效 TOGGLE 里 199 次打在相邻格的门上 。上一轮模型同样把开关读成物品：Kimi 站在开关上按 PICKUP 21 次、Qwen 17 次、Opus 4.8 3 次（另有 22 次相邻格）。没有一个模型做过「站上开关 → TOGGLE」这个唯一正确的动作。
五、一句话改变一切：Prompt 消融的五个实验
作者没有停在「模型不行」的结论上，而是做了一组极干净的消融：每次只在 prompt 的合法动作行后面追加一句话，其他一切不动，每模型每测试跑 1 局。测试用的都是主轮失败过的最小迷宫------测试 1--3 用最简单的 8×8 开关走廊（最优 26 步，主轮两模型都失败），测试 4 用最小的 key-door + switch 迷宫（最优 29 步），测试 5 用 Opus 5.5 连按 27 次 PICKUP 的 8×8 key-door 迷宫（最优 28 步）。
| # | 追加的一句话 | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|
| 1 | "Switches must be toggled." | 解出，39 步（最优 26） | 卡死 42 步 |
| 2 | "Successful actions will always change the maze state." | 卡死 43 步 | 卡死 43 步 |
| 3 | 一整段规则（钥匙捡法、门/开关开关方式、匹配规则） | 卡死 60 步 | 卡死 42 步 |
| 4 | 测试 3 + "You must stand on a key/switch to act on it." | 卡死 58 步（进度 0.86） | 最优 29 步 |
| 5 | 测试 4 的 prompt，跑 key-door 迷宫 | --- | 最优 28 步 |
四个细节值得逐个读：
- 测试 1 的 Astra 是怎么解的：第 2 步站在开关上按了一次 PICKUP（无效），第 4 步改按 TOGGLE------门开了，39 步到终点。它不是侥幸：它自己换了一个动作。
- 测试 1 的 Opus 5.5 差在哪 ：它第 2 步就按了 TOGGLE，但从相邻格按的------这个环境里完全无效；随后它试图像开门一样按门。它有「TOGGLE 这个动作」的先验，但没有「必须站上格子」的规则。
- 测试 4 的 Astra 有多可惜 ：它在第 4 步捡起钥匙、第 9 步开门、第 16 步站上开关开了门 ------所有机制全部打通，走到离终点还有 3 格时掉头走了，被看门狗终结（进度 0.86）。而拿到同一句话的 Opus 5.5 以最优 29 步解出，测试 5 又用同一句话以最优 28 步解出。
- 测试 2 的通用原则对两个模型都没用：它们都能「看见」自己的动作没改变任何东西，但都没能靠这条信息反推出正确规则------都在第 43 步卡死。原则没有指向具体动作，就没有用。
结论很硬：每个模型需要的是不同的一句话------Astra 缺的是「开关要被 toggle」的方向，Opus 5.5 缺的是「必须站上格子才能交互」的位置。环境规则不被写明，模型就会用自己训练里的旧约定（球要捡、门从面前开）去顶替，失败后也不会换招。
六、技术判断：五条可迁移的结论
① 前沿模型撞上的是「机制先验墙」，不是「能力墙」。 11 vs 7 是真实的跃迁：视界、导航、思考投入全部上了一个台阶。但一旦遇到 prompt 未声明的规则，模型会调用训练语料里的旧约定（开关=可捡的球、门=从面前打开），并且失败后不换动作。这是对「能力越强越接近通用」叙事最冷静的一次数据修正------能力越强，旧先验越自信。
② 「推理预算买不来解」已被两轮独立实验确认。 卡死前 30 步，Astra 思考量 ×1.57、Opus 5.5 ×1.55------它们确实在更用力地想，但只是原地加速打转。更糟的是 Astra 的局内相关性：想得越多的局进度越差。多给思考 token 不是逃生门。
③ 没有失败信号的环境，会让错误变成sticky（粘性）的。 动作失败既不改变画面也不改变摘要，模型必须自己注意到「什么都没变」才能纠错------而这个评测的全部设计目的，就是测试这种纠错。正确的设计方向是：让失败可被观察（环境回执、状态 diff、无效动作计数），否则模型会在同一条字节相同的 prompt 上无限循环。
④ Astra 的问题在「记不住」，Opus 5.5 的问题在「不换招」。 Astra 只拿到最近 3 帧 + 文字摘要，失败局探索 16 格却只记住 7 个新格子，测试 4 里走过所有机制后在看得见终点 3 格的地方掉头------历史窗口太短，不足以支撑长 episode 的状态追踪。Opus 5.5 则是完美导航 + 无效动作：472 条逐字节重复的 prompt 是这种「错误粘性」的极端形态。
⑤ 环境规格书（environment spec）将成为与 prompt 同等重要的一等公民。 这次评测证明：模型缺的往往不是智力，而是规则说明。「站上格子才能交互」「开关要 toggle」这种一句话，胜过任何通用原则；而通用原则（测试 2）对两个模型都没用。下一个前沿不是更大的模型，是更清楚的环境。
作者已经把下一轮实验排上了：** unbounded history**（每一帧和每个动作都给全量历史）、步数感知 （告诉模型还剩多少步）、以及同一迷宫的多模态呈现（2D 网格 / 自我中心 3D / 自然语言，含 JSON、ASCII 与纯文字四种 rendering）------用来测量「分数里有多少来自对任务的真实理解，有多少来自对界面熟悉度的路径依赖」。
七、给做 agent 环境的人：一份落地清单
这份清单不回答「模型够不够聪明」，只回答「你的环境有没有把规则说清楚」。 五个动作按顺序做完，再决定要不要换模型：
第一步，把机制规则写进环境规格。 动作清单≠规则说明。「PICKUP / TOGGLE」后面必须跟的是：对什么物体、从哪个格子生效、失败会怎样。这次评测里每个模型各自差的那一句话，就是环境规格缺的那一行。规则要具体到动作------通用原则（「动作会改变状态」）被证明对两个前沿模型都无效。
第二步，给失败加上可观察的信号。 无效动作应该在渲染、摘要或计数上留痕（状态 diff、无效动作计数、环境回执）。否则模型看到的「什么都没变」是一个零信息量的观测：472 条逐字节相同的 prompt，就是没有回执的环境里错误能粘多久的答案。
第三步，明确「历史窗口」的设计。 如果 episode 会很长（长迷宫、长流程），最近 3 帧 + 摘要不够------Astra 走过所有机制后在终点 3 格前掉头，就是记不住自己走过什么的直接后果。要么给全量历史，要么让环境状态本身可查询（地图、已访问格、任务进度）。
第四步，把「多推理」从备选方案里划掉。 两轮实验都显示：思考预算与解出率负相关或不相关。卡死前的 1.55--1.57 倍思考量不是努力，是空转的油耗。模型卡住时该做的不是加 token，是改环境或改 prompt。
第五步，用「带机制的评测集」去测你的 agent。 纯导航 benchmark 测不出机制先验墙------我的代理能走直线不撞墙，和它能不能在没写明规则的环境里工作，是两种能力。给你自己的环境建一组「最小机制测试」：每个未写明的规则一句话，测模型能不能自己发现；发现不了的，就是规格里该补的一行。
最后记住一件事： 这次评测真正证明的，不是「模型变笨了」，而是「模型的强项与弱点都更透明了」------它们能走 89 步的走廊、1,065 步只撞 1 次墙，同时也能把一个开关当成一个球。能力强到足以暴露先验，也有弱小到需要被写明的规则------这恰恰是评测存在的意义：不是给模型打分，是给环境的设计打分。规则写不清，再强的模型也会在迷宫里原地兜圈；规则写清楚了，一句话就能让它们走到终点。