Claude Fable 5回归即翻车:跑分暴跌、安全拦截、账单猫腻,AI模型的信任危机
引言
Claude Fable 5 刚刚回归,还没等开发者们举杯庆祝,差评就已经如潮水般涌来。
从跑分断崖式下跌、安全机制误杀正常问题,到后台日志泄露"内心独白",再到 API 账单暗藏玄机------这场回归似乎变成了一场集体吐槽大会。
今天我们来深度复盘这件事,看看一个备受期待的模型回归,为何会变成一场信任危机。
一、跑分暴跌:不是变笨了,是不让跑了
评测机构 BridgeMind 用自家 BridgeBench 跑分体系,对 Fable 5 回归前后的版本进行了系统测试,结果令人震惊:
| 评测维度 | 回归前得分 | 回归后得分 | 跌幅 | 排名变化 |
|---|---|---|---|---|
| Debugging | 86.2 | 25.9 | -70% | 第9 → 第41 |
| Refactoring | 73.6 | 38.4 | -48% | 跌入倒数区 |
| Hallucination | 75.9 | 61.7 | -19% | 唯一未腰斩 |
三项核心指标全线下跌,其中 Debugging 的跌幅最为惊人,超过六成。
但真正值得关注的不是分数本身,而是 BridgeMind 给出的详细拆解:在 12 个 debugging 任务中,仅有 3 个在没有触发降级的情况下完整跑完,剩下的 9 个全部被系统判定"不安全",转给了 Opus 4.8 处理。
而这些被转走的任务,在打分体系里全部记为零分。
换句话说,跑分暴跌的真相不是模型突然变笨了,而是大半任务压根没跑到终点就被拦了下来。
一位 AI 从业者在对比图表的图注中写道:"Fable 5 不是被削弱了,是被宰了。问题根本不在模型本身,在 Anthropic 设下的这套硬性护栏。"
二、安全拦截玄学:同个问题,有人通过有人被拦
如果说跑分数据还比较客观,那么接下来这两个案例,直接把 Fable 5 安全机制的荒诞性展现得淋漓尽致。
案例一:"Explain human"被拦截
一位生物医药工程师尝试让 Fable 5 解释一下"人类"这个词,只输入了两个字的提示词 "Explain human"。
模型思考了几秒后,界面弹出一张卡片,标题是 "Switched to Opus 4.8",解释说 Fable 5 的安全机制判定这条消息里有需要拦截的内容。
这位工程师的吐槽非常到位:一家名字里带着"关乎人类"意思的公司,做出来的模型连解释人类这个词都要绕道走,这本身就是对这家公司最好的讽刺。
案例二:"raspberry有几个r"被拦截
更滑稽的是,一位半导体分析师问了一个极其简单的问题:raspberry 这个单词里有几个字母 r。
这条请求同样被拦截,界面弹出 "Chat paused" 的卡片,说明 Fable 5 的安全机制会拦截大多数网络安全或生物学话题,有时连安全正常的内容也会被误伤。
但问题来了------另一位用户贴出了自己的对话截图,同样的问题,他那边顺利跑通,模型老老实实数出了三个 r,还细心标注了每个 r 出现的位置。
同一个问题,有的人被拦,有的人没事。模型能不能回答,就跟抽奖差不多。
截然相反的结果放在一起,说明 Fable 5 安全限制的判定标准,可能连 Anthropic 自己都说清楚卡在哪里。
三、账单暗藏猫腻:四分之三的工作不是你选的模型做的
真正把这场吐槽大会推向高潮的,是一张 API 账单截图。
编程测评机构 BridgeMind 发布了一条推文,说自己刚为一次编程 session 付了 321 美元 ,而 Fable 5 在这次 session 里几乎拒绝干活。
账单详情如下:
- 总费用:321.53 美元
-
- 总耗时(按 API 计算):超过 5 小时
-
- 实际挂钟时间:2 小时 38 分钟
-
- 代码改动:11976 行新增,2119 行删除
按模型拆分用量:
- 代码改动:11976 行新增,2119 行删除
- Fable 5:78.38 美元
-
- Opus 4.8 :242.24 美元
换算成占比,这次 session 里四分之三的工作量,被转给了 BridgeMind 压根没有主动选择的 Opus 4.8。
- Opus 4.8 :242.24 美元
Opus 4.8 本身单价比 Fable 5 更便宜,这次降级严格来说没让用户多付一分钱的单价。
但让人不满的不是价格,是货不对板。
BridgeMind 选的是 Fable 5,付的是 Fable 5 那个价位的期待,最后拿到手的东西,四分之三出自 Opus 4.8 的手笔。
他在推文里把这句话说得很重:"模型没干活,活是替补干的,只是账单上写的还是主力的名字。"
有用户直言:花 Fable 5 的钱,办 Opus 4.8 的事,这中间的落差,才是这条吐槽真正戳中的地方。
四、后台日志泄露:模型在"连滚带爬地骂骂咧咧"
除了跑分和账单,开发者们还在 Fable 5 的界面和日志中发现了一些有趣的东西。
私有语言的碎碎念
开发者 Om Patel 给 Fable 5 出了一道竞赛编程难题------一道要求处理图连通性和区间覆盖的硬核算法题。
结果,界面意外泄露了一段模型没打磨过的思考过程。那些文字不像正常的句子,倒像是简写感叹词堆出来的碎碎念:
- 「DATA DATA DATA. GO.」------出现在埋头处理数据的时候
-
- 「GRRR」------出现在某个约束条件怎么都对不上的时候
-
- 「GAAAH」------出现在差点想放弃的瞬间
-
- 「PHEW」------出现在终于绕过一个死胡同的时候
Om Patel 的解读是,这些片段其实是模型自己压出来的一套私有语言,一套只有它自己看得懂的简写体系,写起来比完整句子更省 token,也更快。
- 「PHEW」------出现在终于绕过一个死胡同的时候
用户平时看到的那种流畅、干净、逻辑清楚的回答,只是模型对外呈现的抛光成品。脱了这层抛光,模型自己好像也在连滚带爬地骂骂咧咧。
系统标签:「你不配用我的」
另一位开发者 dax 翻自己的调用日志时发现,一部分被降级的请求背后,挂着一个内部标签,写着:
TOO_DUMB_TO_NEED_FABLE
翻译过来,这个标签的字面意思是:这条请求太简单,用不上 Fable 5,于是系统顺手把它转给了 Opus 4.8 处理,而且是在用户完全不知情的情况下自动完成的。
模型在后台连滚带爬地骂骂咧咧,系统同时给用户的问题扣上一顶"你不配用"的帽子。
五、深度分析:AI 行业信任危机的缩影
Fable 5 的这场风波,表面上是一个模型的回归翻车,但往深了看,它折射出的是整个 AI 行业正在面临的几个核心问题。
1. 安全护栏的边界在哪里?
Anthropic 为 Claude 系列模型设置了越来越严格的安全护栏,这无可厚非。但当护栏收紧到连"raspberry有几个r"都能拦截的时候,问题就不再是安全,而是可用性。
更可怕的是,这套拦截机制似乎缺乏一致性------同一个人问同样的问题,有时候通过,有时候被拦。这种"薛定谔的安全"让用户无所适从。
2. 模型切换的透明度
Fable 5 的 API 用户付费选的是 Fable 5,但实际上大部分工作是由 Opus 4.8 完成的。虽然 Opus 4.8 单价更低,用户没有多花钱,但用户知道自己付的钱买的是什么。
这就好比你去餐厅点了牛排,服务员端上来的是鸡胸肉,虽然鸡胸肉也不贵,但你心里就是不舒服。
3. "黑盒"思考过程的外泄
模型在内部推理时使用私有语言和碎碎念,这本身就是一个值得关注的现象。这说明当前的 LLM 架构在 token 优化方面仍有巨大的改进空间,同时也提醒我们:模型对外呈现的"理性"可能只是一种包装。
4. 评测体系的公信力
BridgeMind 的跑分结果之所以有说服力,不仅因为数据本身,更因为他们给出了详细的任务级拆解。但这也引出一个问题:谁来评测评测机构?
如果跑分的差异主要来自安全拦截而非模型能力,那么传统的 benchmark 体系是否还能准确反映模型的真实水平?
六、结语:用户要的不是完美的模型,是诚实的模型
Fable 5 这一版到底强不强,讨论到最后好像已经不是重点。
大家真正在乎的,是自己选择的模型,有没有老老实实地在给自己干活。
Anthropic 需要在"安全"和"可用"之间找到一个更好的平衡点,也需要在模型切换和降级时保持更高的透明度。
毕竟,用户愿意为一个诚实的模型支付溢价,但不愿意为一个不透明的系统买单。
参考资料
- X/Twitter: @om_patel5 - Fable 5 思考过程泄露
-
- X/Twitter: @kimmonismus - 账单截图讨论
-
- X/Twitter: @dylan522p - raspberry 问题被拦截
-
- X/Twitter: @xw33bttv - 评测数据对比
-
- X/Twitter: @DeryaTR_ - "Explain human" 被拦截
-
- X/Twitter: @bridgemindai - BridgeBench 跑分数据
-
- X/Twitter: @thdxr - 行业评论与分析
本文基于公开信息整理分析,旨在探讨 AI 模型产品化过程中的用户体验与安全边界问题。