英伟达三款开源 Agent 模型横评:120B 旗舰、60B 压缩、74B 塞进 24GB

如果现在让你在本地跑一个多模态 Agent,你选哪个开源模型?去年这个问题答案很窄------不是 GLM 就是 Qwen,要么就抱一块 80GB 显存的卡。今年 10 月 15 号,英伟达一口气发了 Nemotron 3.5 系列三款开源模型,从数据中心一路铺到 24GB 显存的笔记本。紧接着 Multiverse Computing 在同一天又补了一刀:用自研的 CompactifAI 框架,把 120B 的旗舰压到 60B,参数砍一半,能力几乎不掉。

三款模型、三种形态、三种部署层级。这篇把它们放在一起实测对比:谁该跑数据中心,谁该塞进笔记本。数据我尽量逐条标了出处,区分了官方口径和第三方复现,方便你自己判断。

核心指标先看总表

模型 总参数量 激活参数 形态 定位
Nemotron 3.5 Super VL 1200 亿 约 120 亿 MoE 多模态 数据中心旗舰
Comet 60B 600 亿 约 120 亿 Super VL 压缩版 显存减半的同能力
Nemotron 3.5 Bolt 74B-A9B 740 亿 约 90 亿 2-bit 量化 MoE 24GB 边缘/本地

一眼能读出的结论:三款模型的总参数量差了快一倍(1200 亿 vs 600 亿 vs 740 亿),但激活参数都压在 90 亿到 120 亿之间。这就是 MoE 架构的玩法------总参数越大,知识装得越多;激活参数是每次推理真正参与计算的量,越低越省算力。

维度一:参数量与激活参数怎么博弈

先看架构。Super VL 不是普通的 Transformer,它走的是 Mamba2 + Transformer 混合路线,MoE 层里塞了 512 个专家,每个 token 只路由 22 个专家加 1 个共享专家。这样总参数 1200 亿,激活只有约 120 亿,比参数量少一个数量级。

选 Mamba2 混合架构这件事值得单独说一句。纯 Transformer 处理长上下文时,注意力计算的算力随序列长度平方级增长,Mamba2 的线性扫描能把这份开销拉下来。对「持续在线的 Agent」来说意义很直接------同一个上下文窗口能塞进更长的会话历史和工具记录,推理成本不全被注意力层吃掉。这也是为什么 Super VL 敢把定位放在「始终在线、多步骤任务」而不是一次性问答。

多模态是这次的重头。Super VL 把文本、图像、文档、视频理解全部塞进一个 checkpoint,不用再单独挂一个视觉模型。官方给的数据是 26 万亿 token 预训练,加 380 万条后训练样本,再在几十个环境里做强化学习。权重、训练配方、数据集全部开放。

Comet 60B 的玩法完全不同。它不做训练,是做压缩------用 CompactifAI 把 124.5B 的原模型砍到 61.1B,把语言模型部分从 120.7B 压到一半,但激活参数原封不动保持约 120 亿不变。这意味着推理计算的成本没变,变的只是加载权重所需的显存和硬件门槛。

Bolt 74B-A9B 又是另一条路线。总参 740 亿、激活 90 亿,靠原生 2-bit 量化把整模型压到 24GB 内存。注意,它是「量化感知训练」出来的 2-bit,不是训练完再硬压,所以精度损失被提前消化在训练阶段。官方定位是为 10 月 16 号开售的 RTX Spark 笔记本准备的本地 Agent 模型,同时支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM 五种运行时。

维度二:压缩后能力掉了多少

Multiverse 官方给了 Comet 60B 对原版 Super VL 的 28 项基准对比,这是三款里最实在的一组横向数据。我把关键的几项拉出来:

基准 Super VL(原版) Comet 60B 变化
GPQA Diamond(研究生科学问答) 90.40 88.57 -1.83
SWE-bench Pro(真实软件工程) 52.44 51.48 -0.96
τ²-Bench(工具调用客服 Agent) 81.48 81.01 -0.47
τ²-Bench 电信场景 76.75 83.11 +6.36
BabyVision(视觉理解) 26.80 30.93 +4.13
AutomationBench-AA(跨应用自动化) 31.16 33.38 +2.22

表格读出来的故事很有意思:压缩到一半参数,多数文本和编码基准只是小幅回落,全在 5% 以内;而视觉理解、电信场景工具调用、跨应用自动化这几个反而反超了原版。Multiverse 的解释是后训练阶段的强化学习起了作用------压缩丢掉的冗余,被 RL 在窄任务上补了回来。

这里要打个星号:以上是官方口径,暂时没有独立第三方完整复现。Benchmark 数字当参考,别当判决。

至于 Super VL 自己,官方最看重的性能指标不是某个榜,而是吞吐------在单张 GPU 跑智能体任务时,吞吐量最高达到同规模其他开源模型的 5 倍。配合 Dynamo 在 16 张 B200 上的部署优化,官方称最多服务 8 倍用户,首 token 延迟压掉 85%。这些也都是特定部署配置下的数据,换到你的机器上不一定照搬。

维度三:谁该跑在哪一层

把上面的参数和基准串起来,选型逻辑其实很清晰:

数据中心、长程、多模态任务------上 Super VL。它是三款里知识容量和推理宽度最大的,DGX Spark、DGX Station、RTX 工作站或云端都能起,配合 NeMo 还能拿自有数据做后训练。代价是需要大显存或多卡。

显存紧张、但不想牺牲能力------上 Comet 60B。总参数减半,加载权重所需显存跟着减半,激活参数和基准几乎不变。这是成本敏感场景下的平替:同样的推理能力,更低的硬件门槛。

单卡笔记本、24GB 显存的本地 Agent------上 Bolt 74B-A9B。2-bit 量化让它卡在 24GB,适合在 RTX Spark 这种设备上常驻运行编码、检索、监控类的智能体任务。注意它不是全能力模型,多模态和长程推理上是三款里最弱的,图的是「能塞进笔记本」。

还有个还没上桌的 Bolt E4B,4GB 版本 10 月 23 号才发,定位是游戏角色和本地语音交互,不在这次的 Agent 对比范围内。

实际接入:三款怎么跑

三款都能在 Hugging Face、OpenRouter、ModelScope 上拿到。Super VL 走云或大卡,Bolt 走本地量化,Comet 60B 显存减半。

Super VL 用 vLLM 起服务的参考写法:

bash 复制代码
pip install vllm
vllm serve nvidia/Nemotron-3.5-Super-VL --tensor-parallel-size 8 --max-model-len 65536

它支持工具调用和视觉输入,官方还放了训练配方、数据集和 RL 环境,想微调就接 NeMo,对齐自己的业务指令。

Bolt 74B-A9B 面向 24GB 设备,llama.cpp 和 Ollama 都能直接拉 2-bit 量化的 GGUF:

bash 复制代码
ollama run nemotron3.5-bolt:74b-a9b-q2_k_m

官方给的定位是「本地常驻 Agent」的底座,适合接给 OpenClaw、Hermes 这类个人智能体当推理后端。

Comet 60B 是纯权重压缩,没有专属运行时,直接按 Super VL 的部署方式加载,显存需求却减半:

bash 复制代码
# 同样的 MoE 结构,只是 checkpoint 从 124.5B 换成 61.1B
vllm serve multiverse/Comet-60B --tensor-parallel-size 4 --max-model-len 65536

这套接法里有个细节值得记:Comet 60B 保留了原模型的多模态和工具调用格式,迁移起来不是「换了个新模型」,而是「同一个模型瘦了身」,老代码基本不用改。

和国产开源怎么比

看这篇的大概率更关心:这套英伟达的和国产开源放一起怎么选。我不拉一个巨大的对比表,只给三条速判。

论多模态的「全」------国产这边 Qwen3.8-Omni-Flash、MiniCPM-o 4.5 早就把音视频输入压得很透,和 Super VL 这种偏视觉+文档的路线定位不同,别拿来硬比单项分数。

论 Agent 长程编程------GLM-5.3 和 Kimi K3 仍是开源里的老牌标杆,Super VL 这次主打的点是「一个 checkpoint 同时扛推理、工具调用和视觉」,差异化在整合,不在绝对分。

论本地 24GB 这一档------Bolt 74B 2-bit 直接对标 Saluki 27B、Qwen 系量化这类「本地可跑」的选手。这一档拼的是每 GB 显存榨出多少智力,不是总榜单排名。

一句话总结:把开源模型当选配件看,国产这批是高性价比的主力件,英伟达这套是「全栈整合、从云端到边缘全覆盖」的原厂方案。要生态联动、和英伟达全家桶打通,选 Nemotron;要极致性价比和中文生态顺手程度,国产这批暂时还是更稳的选择。

选型建议 + 趋势观察

我的选型逻辑可以缩成一句话:先看你的部署层级,再看要不要多模态。

  • 有服务器或云 GPU,跑长程 Agent 和多模态 → Super VL
  • 显存/预算有限,但任务和上一条接近 → Comet 60B
  • 就一台 24GB 笔记本,跑轻量本地 Agent → Bolt 74B-A9B

下单前先确认三件事,能省掉不少返工:

  1. 许可证和权重解密。 三款都号称开放权重,但 Comet 60B 的下载入口和许可证条款上线时还没完全落定,别急着把生产链路压上去,先确认你能合法商用、能拿到完整权重。
  2. 上下文窗口口径。 Super VL 官方文档写 1M token,第三方评测按 512K 记,这对长会话 Agent 是直接的成本差距,接之前拿真实长文本压一轮。
  3. 2-bit 的精度边界。 Bolt 74B 是量化感知训练出来的 2-bit,比事后硬压强,但 24GB 塞 740 亿参数,长上下文和复杂推理还是它的天花板,别拿它当全能力模型用。

跳出这三款模型本身,这次发布透出三个更值得注意的趋势。

趋势一:开源模型的供给从「中国厂商独舞」变成了多路并进。 前两年开源旗舰几乎被 GLM、Qwen、DeepSeek、Kimi 包圆,现在 Mistral 起了 1T 的 Large 4、NVIDIA 起了 Nemotron 3.5 家族,开源的牌桌上不止国产了。对开发者是好事,选型有得挑。

趋势二:「压缩」成了和「训练」并列的第二条技术路线。 Comet 60B 证明了一件事------往大了训不是唯一方向,把大模型往小了压、压完还能保住能力,可能是更省钱的路径。Multiverse 之前的 Pulsar 16B 也是这么压在 Nemotron 3 Nano 上的,这条路正在复用过多次。

趋势三:Agent 的战场从云端往下沉到边缘。 Super VL 管数据中心,Bolt 管 24GB 笔记本,E4B 管 4GB 游戏机------一个厂商用一套模型家族把三个层级全占了。这不是英伟达一家在干,照这个节奏,明年「本地 Agent」会从尝试变成默认选项。

三款模型里 Comet 60B 最值得盯:它是「压缩平替」这条路线最直接的样本,参数砍半、能力基本不掉这件事如果能被第三方复现坐实,很多团队的部署成本账要重新算了。

延伸阅读:

📌 系列文章

测了3款工具才发现差距这么大。关注我 👆 第一时间获取更多AI工具深度横评。

相关推荐
从小白到软工3 小时前
4-3 项目-学生成绩管理系统(上)
c语言·开发语言·数据结构·经验分享·ai编程
ZzT4 小时前
context-mode 拆解:98% 是怎么算出来的,装进 Claude Code 实际省多少
ai编程·claude
tz_zs5 小时前
【AI编程】 防止AI编程中的膨胀
ai编程
feiyu_gao5 小时前
可验证的 AI:如何让 Agent 用代码自证正确
aigc·ai编程·vibecoding
用户842558130875 小时前
同一篇稿子发到 6 个平台,为什么只有这里的图片全裂了?
ai编程
用户842558130875 小时前
把「一文多发」做成脚本流水线:CDP、滑块、二维码、WAF、限流,这些坑我替你踩完了
ai编程
猛犸象限5 小时前
【Grok Bot 仓颉实践】 编译通过了,我没让它合并——验证和证据我怎么卡
ai编程
小鱼儿亮亮5 小时前
大模型调用的演进与架构全景解析:从 cURL 原语、多维技术栈、API 规范到 LangChain 生产级实战
ai编程
用户842558130875 小时前
Chrome 自动化「点了没反应」:5 个真实坑与一套排查法
ai编程