Gemini 4 Carbon发布:安全基准领先,幻觉率升至11%

谷歌10月29日发布新一代前沿模型Gemini 4 Carbon,在三项安全相关基准上取得业内最高分:SEC-bench Pro(漏洞发现)88.2%,ExploitGym(漏洞利用)54.8%,CWE-bench(补丁修复)71.0%。IT之家当天报道了这一发布。这是谷歌继9月30日发布Gemini 4 Argon之后,在同一代模型序列下推出的新版本。

安全与对齐指标的变化

Carbon的核心卖点集中在可信度而非单纯的能力分数。谷歌博客给出了几组对比数据:在Terminal-Bench 4.0测试中,Carbon的作弊成功率降到0.0%,尝试作弊的比例降到0.4%;高严重程度的失准(misalignment)警报减少了近80%;模型的过度执行(overreach)率下降26%,服务不足(under-service)率下降29%。在Gray Swan的间接提示注入(Indirect Prompt Injection,简称IPI,指攻击者把恶意指令藏在模型处理的外部内容里)基准上,前代Argon的攻击成功率已经是0.7%,Carbon进一步做到0.0%,官方说法是抵御了所有被评估的攻击尝试。

这些数字说明谷歌在这一代模型的训练和评估流程里,加重了对模型会不会被诱导做坏事、会不会自己作弊走捷径的测量权重。Terminal-Bench 4.0模拟的是智能体(Agent,指能自主调用工具、执行多步任务的AI系统)在终端环境里完成任务的过程,作弊率下降意味着模型更少通过违规手段达成任务目标,不等于任务完成率本身提高。

独立测试给出不同的画面

第三方媒体aihot发布的测试数据呈现了另一面,其评测方法与谷歌官方博客不同,两套结果暂无法互相验证。aihot称Carbon完成单个任务平均使用123k个输出token(Token是语言模型处理文本的最小单位),比Claude Opus 5.5的173k少29%;但该来源未披露两款模型测试时使用的硬件、提示词和评测版本是否一致,这一对比仅供参考。同一测试里,Carbon的幻觉率从4%上升到11%。这组数据和谷歌博客强调的安全性提升形成对照:生成内容更简洁,但编造错误信息的比例也更高,两者未必矛盾,但说明更安全不等于更准确。

在综合能力排行上,aihot引用的数据显示,Carbon在近期更新的5.0版Artificial Analysis Intelligence Index上拿到59分,前代Argon为50分。Carbon在WebDev Arena上以1,769分位列第四,比此前提升89 Elo分(Elo是一种通过两两对比结果计算相对实力的评分系统)。在Vals Index v2.2测试中,Carbon的准确率为70.36%,介于Claude Sonnet 5.5(70.85%)和Claude Opus 5.5(70.18%)之间,单次测试运行费用10.51美元,耗时不到48分钟。在Agent Arena中,Carbon的中位任务成本为1.80美元,比排名第一的Claude Opus 5.5(Max版)低72%。Code Arena的WebDev类别里,Carbon得1,768分,领先排名第十一的Argon 89分,总排名第四。这些对比同样来自aihot单一来源,测试环境未披露,结论仅供参考。

价格与迁移注意事项

Carbon沿用了缓存输入token大幅折扣的定价方式,缓存部分的价格比普通输入token低95%。这一机制此前已在Argon上使用,目的是降低需要反复处理长上下文(比如多轮对话历史或长文档)的应用成本。谷歌博客未说明Carbon相对Argon是否存在破坏性API变更,也没有给出具体的迁移步骤或参数对照,这部分信息暂缺,已部署Argon的团队目前只能依据输出token上限等已披露差异自行评估升级成本。

Argon本身在9月30日发布后,于10月13日实现全球可用。Argon当时的基准成绩包括:DeepSWE v1.1上77.9%、AutomationBench上51.3%排名第一、LVBench上91.7%、CWE-bench v1上68%并列第一。谷歌还提到Argon在一次量子算法优化任务中,几分钟内把已发布基线的表现提升了40%;谷歌博客未说明该基线来自哪个具体任务、是否为公开可复核的测试集,这应被视为一项营销性案例演示,不构成可比较的通用基准。Argon部署后还为谷歌数据中心释放超过300TiB内存,预计总节省在500TiB到1PiB之间;输出token上限从64K扩大到1M,这一项是Carbon沿用的能力基础,开发者从旧版本迁移时需要确认自身调用是否受此前64K上限的截断逻辑影响。谷歌在介绍Argon的另一篇博客中提到,使用Argon的Antigravity团队智能体代码提交量提升超过35%,代码回退减少近三分之一;在ADK框架(Agent Development Kit,谷歌的智能体开发框架)中,经Argon优化后,长会话的内存会话准备时间缩短40%,冷启动导入速度提升21%。

尚未明确的部分

谷歌官方博客没有提供幻觉率、Token消耗量等第三方测试里给出的数据,aihot的报道也没有提到谷歌强调的失准警报和过度执行率变化,两组数据分别出自各自来源,暂无法合并验证。谷歌博客未说明Carbon相对Argon在API层面是否有不兼容改动,哪些应用场景更适合优先升级,这部分指导性信息缺失。目前没有检索到独立安全研究机构或企业用户对Carbon实际部署效果的公开评价。幻觉率上升的具体原因,谷歌和第三方测试都未给出解释。

原文地址:tools.wflynn.cn/aitools/tre...

关注公众号「YourTools」,每天推送 GitHub 趋势与开源工具速报:

相关推荐
SelectDB技术团队1 小时前
ClickHouse 支持存算分离吗?Doris 社区版原生存算分离怎么落地
数据库·clickhouse·云原生·开源·apache doris·技术选型·存算分层
分布式存储与RustFS2 小时前
十分钟在自己机器上跑通一个 S3 兼容对象存储(RustFS + Docker)
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
科小怪2 小时前
万能文件格式转换器Filee下载安装全流程图解:255种格式离线转,不用装Office(2026最新)
github·格式转换·软件推荐·下载教程
元岳数字人小元2 小时前
告别云端依赖,数字人本地部署筑牢项目安全底座
人工智能·安全·架构·开源·人机交互·交互
徐小夕3 小时前
扒了JitWord的源码,我终于搞懂了企业级在线Word到底有多难写
前端·vue.js·github
小杨互联网3 小时前
Kenney / Blender CC0 小资源离线镜像汇总
开源·blender·游戏素材·kenney·cc0·离线包
2601_949480063 小时前
开源鸿蒙平台 KMP 三方库「kasechange」适配全流程
华为·开源·harmonyos
resh_people3 小时前
开源鸿蒙平台 CMP 三方库「table」适配全流程
华为·开源·harmonyos
喜欢吃豆3 小时前
我开源了 Agent UI Lab 用交互实验理解 AG-UI A2UI 与 MCP Apps
ui·开源·大模型·交互