Claude Fable5回归即翻车:跑分暴跌、安全拦截、账单猫腻,AI模型的信任危机

Claude Fable 5回归即翻车:跑分暴跌、安全拦截、账单猫腻,AI模型的信任危机

引言

Claude Fable 5 刚刚回归,还没等开发者们举杯庆祝,差评就已经如潮水般涌来。

从跑分断崖式下跌、安全机制误杀正常问题,到后台日志泄露"内心独白",再到 API 账单暗藏玄机------这场回归似乎变成了一场集体吐槽大会。

今天我们来深度复盘这件事,看看一个备受期待的模型回归,为何会变成一场信任危机。


一、跑分暴跌:不是变笨了,是不让跑了

评测机构 BridgeMind 用自家 BridgeBench 跑分体系,对 Fable 5 回归前后的版本进行了系统测试,结果令人震惊:

评测维度 回归前得分 回归后得分 跌幅 排名变化
Debugging 86.2 25.9 -70% 第9 → 第41
Refactoring 73.6 38.4 -48% 跌入倒数区
Hallucination 75.9 61.7 -19% 唯一未腰斩

三项核心指标全线下跌,其中 Debugging 的跌幅最为惊人,超过六成。

但真正值得关注的不是分数本身,而是 BridgeMind 给出的详细拆解:在 12 个 debugging 任务中,仅有 3 个在没有触发降级的情况下完整跑完,剩下的 9 个全部被系统判定"不安全",转给了 Opus 4.8 处理。

而这些被转走的任务,在打分体系里全部记为零分。

换句话说,跑分暴跌的真相不是模型突然变笨了,而是大半任务压根没跑到终点就被拦了下来

一位 AI 从业者在对比图表的图注中写道:"Fable 5 不是被削弱了,是被宰了。问题根本不在模型本身,在 Anthropic 设下的这套硬性护栏。"


二、安全拦截玄学:同个问题,有人通过有人被拦

如果说跑分数据还比较客观,那么接下来这两个案例,直接把 Fable 5 安全机制的荒诞性展现得淋漓尽致。

案例一:"Explain human"被拦截

一位生物医药工程师尝试让 Fable 5 解释一下"人类"这个词,只输入了两个字的提示词 "Explain human"。

模型思考了几秒后,界面弹出一张卡片,标题是 "Switched to Opus 4.8",解释说 Fable 5 的安全机制判定这条消息里有需要拦截的内容。

这位工程师的吐槽非常到位:一家名字里带着"关乎人类"意思的公司,做出来的模型连解释人类这个词都要绕道走,这本身就是对这家公司最好的讽刺。

案例二:"raspberry有几个r"被拦截

更滑稽的是,一位半导体分析师问了一个极其简单的问题:raspberry 这个单词里有几个字母 r。

这条请求同样被拦截,界面弹出 "Chat paused" 的卡片,说明 Fable 5 的安全机制会拦截大多数网络安全或生物学话题,有时连安全正常的内容也会被误伤。

但问题来了------另一位用户贴出了自己的对话截图,同样的问题,他那边顺利跑通,模型老老实实数出了三个 r,还细心标注了每个 r 出现的位置。

同一个问题,有的人被拦,有的人没事。模型能不能回答,就跟抽奖差不多。

截然相反的结果放在一起,说明 Fable 5 安全限制的判定标准,可能连 Anthropic 自己都说清楚卡在哪里。


三、账单暗藏猫腻:四分之三的工作不是你选的模型做的

真正把这场吐槽大会推向高潮的,是一张 API 账单截图。

编程测评机构 BridgeMind 发布了一条推文,说自己刚为一次编程 session 付了 321 美元 ,而 Fable 5 在这次 session 里几乎拒绝干活

账单详情如下:

  • 总费用:321.53 美元
    • 总耗时(按 API 计算):超过 5 小时
    • 实际挂钟时间:2 小时 38 分钟
    • 代码改动:11976 行新增,2119 行删除
      按模型拆分用量:
  • Fable 5:78.38 美元
    • Opus 4.8 :242.24 美元
      换算成占比,这次 session 里四分之三的工作量,被转给了 BridgeMind 压根没有主动选择的 Opus 4.8

Opus 4.8 本身单价比 Fable 5 更便宜,这次降级严格来说没让用户多付一分钱的单价。

但让人不满的不是价格,是货不对板。

BridgeMind 选的是 Fable 5,付的是 Fable 5 那个价位的期待,最后拿到手的东西,四分之三出自 Opus 4.8 的手笔。

他在推文里把这句话说得很重:"模型没干活,活是替补干的,只是账单上写的还是主力的名字。"

有用户直言:花 Fable 5 的钱,办 Opus 4.8 的事,这中间的落差,才是这条吐槽真正戳中的地方。


四、后台日志泄露:模型在"连滚带爬地骂骂咧咧"

除了跑分和账单,开发者们还在 Fable 5 的界面和日志中发现了一些有趣的东西。

私有语言的碎碎念

开发者 Om Patel 给 Fable 5 出了一道竞赛编程难题------一道要求处理图连通性和区间覆盖的硬核算法题。

结果,界面意外泄露了一段模型没打磨过的思考过程。那些文字不像正常的句子,倒像是简写感叹词堆出来的碎碎念:

  • 「DATA DATA DATA. GO.」------出现在埋头处理数据的时候
    • 「GRRR」------出现在某个约束条件怎么都对不上的时候
    • 「GAAAH」------出现在差点想放弃的瞬间
    • 「PHEW」------出现在终于绕过一个死胡同的时候
      Om Patel 的解读是,这些片段其实是模型自己压出来的一套私有语言,一套只有它自己看得懂的简写体系,写起来比完整句子更省 token,也更快。

用户平时看到的那种流畅、干净、逻辑清楚的回答,只是模型对外呈现的抛光成品。脱了这层抛光,模型自己好像也在连滚带爬地骂骂咧咧

系统标签:「你不配用我的」

另一位开发者 dax 翻自己的调用日志时发现,一部分被降级的请求背后,挂着一个内部标签,写着:

TOO_DUMB_TO_NEED_FABLE

翻译过来,这个标签的字面意思是:这条请求太简单,用不上 Fable 5,于是系统顺手把它转给了 Opus 4.8 处理,而且是在用户完全不知情的情况下自动完成的。

模型在后台连滚带爬地骂骂咧咧,系统同时给用户的问题扣上一顶"你不配用"的帽子。


五、深度分析:AI 行业信任危机的缩影

Fable 5 的这场风波,表面上是一个模型的回归翻车,但往深了看,它折射出的是整个 AI 行业正在面临的几个核心问题。

1. 安全护栏的边界在哪里?

Anthropic 为 Claude 系列模型设置了越来越严格的安全护栏,这无可厚非。但当护栏收紧到连"raspberry有几个r"都能拦截的时候,问题就不再是安全,而是可用性

更可怕的是,这套拦截机制似乎缺乏一致性------同一个人问同样的问题,有时候通过,有时候被拦。这种"薛定谔的安全"让用户无所适从。

2. 模型切换的透明度

Fable 5 的 API 用户付费选的是 Fable 5,但实际上大部分工作是由 Opus 4.8 完成的。虽然 Opus 4.8 单价更低,用户没有多花钱,但用户知道自己付的钱买的是什么

这就好比你去餐厅点了牛排,服务员端上来的是鸡胸肉,虽然鸡胸肉也不贵,但你心里就是不舒服。

3. "黑盒"思考过程的外泄

模型在内部推理时使用私有语言和碎碎念,这本身就是一个值得关注的现象。这说明当前的 LLM 架构在 token 优化方面仍有巨大的改进空间,同时也提醒我们:模型对外呈现的"理性"可能只是一种包装

4. 评测体系的公信力

BridgeMind 的跑分结果之所以有说服力,不仅因为数据本身,更因为他们给出了详细的任务级拆解。但这也引出一个问题:谁来评测评测机构?

如果跑分的差异主要来自安全拦截而非模型能力,那么传统的 benchmark 体系是否还能准确反映模型的真实水平?


六、结语:用户要的不是完美的模型,是诚实的模型

Fable 5 这一版到底强不强,讨论到最后好像已经不是重点。

大家真正在乎的,是自己选择的模型,有没有老老实实地在给自己干活。

Anthropic 需要在"安全"和"可用"之间找到一个更好的平衡点,也需要在模型切换和降级时保持更高的透明度。

毕竟,用户愿意为一个诚实的模型支付溢价,但不愿意为一个不透明的系统买单。


参考资料

  1. X/Twitter: @om_patel5 - Fable 5 思考过程泄露
    1. X/Twitter: @kimmonismus - 账单截图讨论
    1. X/Twitter: @dylan522p - raspberry 问题被拦截
    1. X/Twitter: @xw33bttv - 评测数据对比
    1. X/Twitter: @DeryaTR_ - "Explain human" 被拦截
    1. X/Twitter: @bridgemindai - BridgeBench 跑分数据
    1. X/Twitter: @thdxr - 行业评论与分析

本文基于公开信息整理分析,旨在探讨 AI 模型产品化过程中的用户体验与安全边界问题。

相关推荐
动物园猫2 小时前
车位与车牌目标检测数据集:4类别 | 目标检测
人工智能·目标检测·计算机视觉
一份汉堡套餐2 小时前
7月最新大模型排名
大数据·人工智能
MartinYeung52 小时前
[论文学习]SecureGate:通过令牌级门控学习何时安全地揭示PII-深度解析
学习·安全
Figo_Cheung2 小时前
Figo整体‑集体思维下的人工智能时代社会治理体系研究——基于道家与儒家传统的系统性框架构建
人工智能
ganbingfenxiang2 小时前
山西干冰零售
大数据·人工智能·python·零售
薛定猫AI2 小时前
【深度解析】GLM-5.2 与 Z-Code:AI 编程智能体的原理拆解与 Python 调用实战
开发语言·人工智能·python
weixin_400005602 小时前
RL-frenet-trajectory-planning-in-CARLA
人工智能·深度学习·算法·机器学习·自动驾驶
白白白飘2 小时前
【3】大语言模型的核心原理
人工智能·语言模型·自然语言处理
ZeekerLin2 小时前
AI时代,企业核心业务中台化建设思考
大数据·人工智能·企业ai转型
刘海东刘海东2 小时前
完成了一二三四章
人工智能