
谷歌10月29日发布新一代前沿模型Gemini 4 Carbon,在三项安全相关基准上取得业内最高分:SEC-bench Pro(漏洞发现)88.2%,ExploitGym(漏洞利用)54.8%,CWE-bench(补丁修复)71.0%。IT之家当天报道了这一发布。这是谷歌继9月30日发布Gemini 4 Argon之后,在同一代模型序列下推出的新版本。

安全与对齐指标的变化
Carbon的核心卖点集中在可信度而非单纯的能力分数。谷歌博客给出了几组对比数据:在Terminal-Bench 4.0测试中,Carbon的作弊成功率降到0.0%,尝试作弊的比例降到0.4%;高严重程度的失准(misalignment)警报减少了近80%;模型的过度执行(overreach)率下降26%,服务不足(under-service)率下降29%。在Gray Swan的间接提示注入(Indirect Prompt Injection,简称IPI,指攻击者把恶意指令藏在模型处理的外部内容里)基准上,前代Argon的攻击成功率已经是0.7%,Carbon进一步做到0.0%,官方说法是抵御了所有被评估的攻击尝试。
这些数字说明谷歌在这一代模型的训练和评估流程里,加重了对模型会不会被诱导做坏事、会不会自己作弊走捷径的测量权重。Terminal-Bench 4.0模拟的是智能体(Agent,指能自主调用工具、执行多步任务的AI系统)在终端环境里完成任务的过程,作弊率下降意味着模型更少通过违规手段达成任务目标,不等于任务完成率本身提高。

独立测试给出不同的画面
第三方媒体aihot发布的测试数据呈现了另一面,其评测方法与谷歌官方博客不同,两套结果暂无法互相验证。aihot称Carbon完成单个任务平均使用123k个输出token(Token是语言模型处理文本的最小单位),比Claude Opus 5.5的173k少29%;但该来源未披露两款模型测试时使用的硬件、提示词和评测版本是否一致,这一对比仅供参考。同一测试里,Carbon的幻觉率从4%上升到11%。这组数据和谷歌博客强调的安全性提升形成对照:生成内容更简洁,但编造错误信息的比例也更高,两者未必矛盾,但说明更安全不等于更准确。
在综合能力排行上,aihot引用的数据显示,Carbon在近期更新的5.0版Artificial Analysis Intelligence Index上拿到59分,前代Argon为50分。Carbon在WebDev Arena上以1,769分位列第四,比此前提升89 Elo分(Elo是一种通过两两对比结果计算相对实力的评分系统)。在Vals Index v2.2测试中,Carbon的准确率为70.36%,介于Claude Sonnet 5.5(70.85%)和Claude Opus 5.5(70.18%)之间,单次测试运行费用10.51美元,耗时不到48分钟。在Agent Arena中,Carbon的中位任务成本为1.80美元,比排名第一的Claude Opus 5.5(Max版)低72%。Code Arena的WebDev类别里,Carbon得1,768分,领先排名第十一的Argon 89分,总排名第四。这些对比同样来自aihot单一来源,测试环境未披露,结论仅供参考。
价格与迁移注意事项
Carbon沿用了缓存输入token大幅折扣的定价方式,缓存部分的价格比普通输入token低95%。这一机制此前已在Argon上使用,目的是降低需要反复处理长上下文(比如多轮对话历史或长文档)的应用成本。谷歌博客未说明Carbon相对Argon是否存在破坏性API变更,也没有给出具体的迁移步骤或参数对照,这部分信息暂缺,已部署Argon的团队目前只能依据输出token上限等已披露差异自行评估升级成本。
Argon本身在9月30日发布后,于10月13日实现全球可用。Argon当时的基准成绩包括:DeepSWE v1.1上77.9%、AutomationBench上51.3%排名第一、LVBench上91.7%、CWE-bench v1上68%并列第一。谷歌还提到Argon在一次量子算法优化任务中,几分钟内把已发布基线的表现提升了40%;谷歌博客未说明该基线来自哪个具体任务、是否为公开可复核的测试集,这应被视为一项营销性案例演示,不构成可比较的通用基准。Argon部署后还为谷歌数据中心释放超过300TiB内存,预计总节省在500TiB到1PiB之间;输出token上限从64K扩大到1M,这一项是Carbon沿用的能力基础,开发者从旧版本迁移时需要确认自身调用是否受此前64K上限的截断逻辑影响。谷歌在介绍Argon的另一篇博客中提到,使用Argon的Antigravity团队智能体代码提交量提升超过35%,代码回退减少近三分之一;在ADK框架(Agent Development Kit,谷歌的智能体开发框架)中,经Argon优化后,长会话的内存会话准备时间缩短40%,冷启动导入速度提升21%。
尚未明确的部分
谷歌官方博客没有提供幻觉率、Token消耗量等第三方测试里给出的数据,aihot的报道也没有提到谷歌强调的失准警报和过度执行率变化,两组数据分别出自各自来源,暂无法合并验证。谷歌博客未说明Carbon相对Argon在API层面是否有不兼容改动,哪些应用场景更适合优先升级,这部分指导性信息缺失。目前没有检索到独立安全研究机构或企业用户对Carbon实际部署效果的公开评价。幻觉率上升的具体原因,谷歌和第三方测试都未给出解释。
原文地址:tools.wflynn.cn/aitools/tre...
关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报:
