如果现在让你在本地跑一个多模态 Agent,你选哪个开源模型?去年这个问题答案很窄------不是 GLM 就是 Qwen,要么就抱一块 80GB 显存的卡。今年 10 月 15 号,英伟达一口气发了 Nemotron 3.5 系列三款开源模型,从数据中心一路铺到 24GB 显存的笔记本。紧接着 Multiverse Computing 在同一天又补了一刀:用自研的 CompactifAI 框架,把 120B 的旗舰压到 60B,参数砍一半,能力几乎不掉。
三款模型、三种形态、三种部署层级。这篇把它们放在一起实测对比:谁该跑数据中心,谁该塞进笔记本。数据我尽量逐条标了出处,区分了官方口径和第三方复现,方便你自己判断。
核心指标先看总表
| 模型 | 总参数量 | 激活参数 | 形态 | 定位 |
|---|---|---|---|---|
| Nemotron 3.5 Super VL | 1200 亿 | 约 120 亿 | MoE 多模态 | 数据中心旗舰 |
| Comet 60B | 600 亿 | 约 120 亿 | Super VL 压缩版 | 显存减半的同能力 |
| Nemotron 3.5 Bolt 74B-A9B | 740 亿 | 约 90 亿 | 2-bit 量化 MoE | 24GB 边缘/本地 |
一眼能读出的结论:三款模型的总参数量差了快一倍(1200 亿 vs 600 亿 vs 740 亿),但激活参数都压在 90 亿到 120 亿之间。这就是 MoE 架构的玩法------总参数越大,知识装得越多;激活参数是每次推理真正参与计算的量,越低越省算力。
维度一:参数量与激活参数怎么博弈
先看架构。Super VL 不是普通的 Transformer,它走的是 Mamba2 + Transformer 混合路线,MoE 层里塞了 512 个专家,每个 token 只路由 22 个专家加 1 个共享专家。这样总参数 1200 亿,激活只有约 120 亿,比参数量少一个数量级。
选 Mamba2 混合架构这件事值得单独说一句。纯 Transformer 处理长上下文时,注意力计算的算力随序列长度平方级增长,Mamba2 的线性扫描能把这份开销拉下来。对「持续在线的 Agent」来说意义很直接------同一个上下文窗口能塞进更长的会话历史和工具记录,推理成本不全被注意力层吃掉。这也是为什么 Super VL 敢把定位放在「始终在线、多步骤任务」而不是一次性问答。
多模态是这次的重头。Super VL 把文本、图像、文档、视频理解全部塞进一个 checkpoint,不用再单独挂一个视觉模型。官方给的数据是 26 万亿 token 预训练,加 380 万条后训练样本,再在几十个环境里做强化学习。权重、训练配方、数据集全部开放。
Comet 60B 的玩法完全不同。它不做训练,是做压缩------用 CompactifAI 把 124.5B 的原模型砍到 61.1B,把语言模型部分从 120.7B 压到一半,但激活参数原封不动保持约 120 亿不变。这意味着推理计算的成本没变,变的只是加载权重所需的显存和硬件门槛。
Bolt 74B-A9B 又是另一条路线。总参 740 亿、激活 90 亿,靠原生 2-bit 量化把整模型压到 24GB 内存。注意,它是「量化感知训练」出来的 2-bit,不是训练完再硬压,所以精度损失被提前消化在训练阶段。官方定位是为 10 月 16 号开售的 RTX Spark 笔记本准备的本地 Agent 模型,同时支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM 五种运行时。
维度二:压缩后能力掉了多少
Multiverse 官方给了 Comet 60B 对原版 Super VL 的 28 项基准对比,这是三款里最实在的一组横向数据。我把关键的几项拉出来:
| 基准 | Super VL(原版) | Comet 60B | 变化 |
|---|---|---|---|
| GPQA Diamond(研究生科学问答) | 90.40 | 88.57 | -1.83 |
| SWE-bench Pro(真实软件工程) | 52.44 | 51.48 | -0.96 |
| τ²-Bench(工具调用客服 Agent) | 81.48 | 81.01 | -0.47 |
| τ²-Bench 电信场景 | 76.75 | 83.11 | +6.36 |
| BabyVision(视觉理解) | 26.80 | 30.93 | +4.13 |
| AutomationBench-AA(跨应用自动化) | 31.16 | 33.38 | +2.22 |
表格读出来的故事很有意思:压缩到一半参数,多数文本和编码基准只是小幅回落,全在 5% 以内;而视觉理解、电信场景工具调用、跨应用自动化这几个反而反超了原版。Multiverse 的解释是后训练阶段的强化学习起了作用------压缩丢掉的冗余,被 RL 在窄任务上补了回来。
这里要打个星号:以上是官方口径,暂时没有独立第三方完整复现。Benchmark 数字当参考,别当判决。
至于 Super VL 自己,官方最看重的性能指标不是某个榜,而是吞吐------在单张 GPU 跑智能体任务时,吞吐量最高达到同规模其他开源模型的 5 倍。配合 Dynamo 在 16 张 B200 上的部署优化,官方称最多服务 8 倍用户,首 token 延迟压掉 85%。这些也都是特定部署配置下的数据,换到你的机器上不一定照搬。
维度三:谁该跑在哪一层
把上面的参数和基准串起来,选型逻辑其实很清晰:
数据中心、长程、多模态任务------上 Super VL。它是三款里知识容量和推理宽度最大的,DGX Spark、DGX Station、RTX 工作站或云端都能起,配合 NeMo 还能拿自有数据做后训练。代价是需要大显存或多卡。
显存紧张、但不想牺牲能力------上 Comet 60B。总参数减半,加载权重所需显存跟着减半,激活参数和基准几乎不变。这是成本敏感场景下的平替:同样的推理能力,更低的硬件门槛。
单卡笔记本、24GB 显存的本地 Agent------上 Bolt 74B-A9B。2-bit 量化让它卡在 24GB,适合在 RTX Spark 这种设备上常驻运行编码、检索、监控类的智能体任务。注意它不是全能力模型,多模态和长程推理上是三款里最弱的,图的是「能塞进笔记本」。
还有个还没上桌的 Bolt E4B,4GB 版本 10 月 23 号才发,定位是游戏角色和本地语音交互,不在这次的 Agent 对比范围内。
实际接入:三款怎么跑
三款都能在 Hugging Face、OpenRouter、ModelScope 上拿到。Super VL 走云或大卡,Bolt 走本地量化,Comet 60B 显存减半。
Super VL 用 vLLM 起服务的参考写法:
bash
pip install vllm
vllm serve nvidia/Nemotron-3.5-Super-VL --tensor-parallel-size 8 --max-model-len 65536
它支持工具调用和视觉输入,官方还放了训练配方、数据集和 RL 环境,想微调就接 NeMo,对齐自己的业务指令。
Bolt 74B-A9B 面向 24GB 设备,llama.cpp 和 Ollama 都能直接拉 2-bit 量化的 GGUF:
bash
ollama run nemotron3.5-bolt:74b-a9b-q2_k_m
官方给的定位是「本地常驻 Agent」的底座,适合接给 OpenClaw、Hermes 这类个人智能体当推理后端。
Comet 60B 是纯权重压缩,没有专属运行时,直接按 Super VL 的部署方式加载,显存需求却减半:
bash
# 同样的 MoE 结构,只是 checkpoint 从 124.5B 换成 61.1B
vllm serve multiverse/Comet-60B --tensor-parallel-size 4 --max-model-len 65536
这套接法里有个细节值得记:Comet 60B 保留了原模型的多模态和工具调用格式,迁移起来不是「换了个新模型」,而是「同一个模型瘦了身」,老代码基本不用改。
和国产开源怎么比
看这篇的大概率更关心:这套英伟达的和国产开源放一起怎么选。我不拉一个巨大的对比表,只给三条速判。
论多模态的「全」------国产这边 Qwen3.8-Omni-Flash、MiniCPM-o 4.5 早就把音视频输入压得很透,和 Super VL 这种偏视觉+文档的路线定位不同,别拿来硬比单项分数。
论 Agent 长程编程------GLM-5.3 和 Kimi K3 仍是开源里的老牌标杆,Super VL 这次主打的点是「一个 checkpoint 同时扛推理、工具调用和视觉」,差异化在整合,不在绝对分。
论本地 24GB 这一档------Bolt 74B 2-bit 直接对标 Saluki 27B、Qwen 系量化这类「本地可跑」的选手。这一档拼的是每 GB 显存榨出多少智力,不是总榜单排名。
一句话总结:把开源模型当选配件看,国产这批是高性价比的主力件,英伟达这套是「全栈整合、从云端到边缘全覆盖」的原厂方案。要生态联动、和英伟达全家桶打通,选 Nemotron;要极致性价比和中文生态顺手程度,国产这批暂时还是更稳的选择。
选型建议 + 趋势观察
我的选型逻辑可以缩成一句话:先看你的部署层级,再看要不要多模态。
- 有服务器或云 GPU,跑长程 Agent 和多模态 → Super VL
- 显存/预算有限,但任务和上一条接近 → Comet 60B
- 就一台 24GB 笔记本,跑轻量本地 Agent → Bolt 74B-A9B
下单前先确认三件事,能省掉不少返工:
- 许可证和权重解密。 三款都号称开放权重,但 Comet 60B 的下载入口和许可证条款上线时还没完全落定,别急着把生产链路压上去,先确认你能合法商用、能拿到完整权重。
- 上下文窗口口径。 Super VL 官方文档写 1M token,第三方评测按 512K 记,这对长会话 Agent 是直接的成本差距,接之前拿真实长文本压一轮。
- 2-bit 的精度边界。 Bolt 74B 是量化感知训练出来的 2-bit,比事后硬压强,但 24GB 塞 740 亿参数,长上下文和复杂推理还是它的天花板,别拿它当全能力模型用。
跳出这三款模型本身,这次发布透出三个更值得注意的趋势。
趋势一:开源模型的供给从「中国厂商独舞」变成了多路并进。 前两年开源旗舰几乎被 GLM、Qwen、DeepSeek、Kimi 包圆,现在 Mistral 起了 1T 的 Large 4、NVIDIA 起了 Nemotron 3.5 家族,开源的牌桌上不止国产了。对开发者是好事,选型有得挑。
趋势二:「压缩」成了和「训练」并列的第二条技术路线。 Comet 60B 证明了一件事------往大了训不是唯一方向,把大模型往小了压、压完还能保住能力,可能是更省钱的路径。Multiverse 之前的 Pulsar 16B 也是这么压在 Nemotron 3 Nano 上的,这条路正在复用过多次。
趋势三:Agent 的战场从云端往下沉到边缘。 Super VL 管数据中心,Bolt 管 24GB 笔记本,E4B 管 4GB 游戏机------一个厂商用一套模型家族把三个层级全占了。这不是英伟达一家在干,照这个节奏,明年「本地 Agent」会从尝试变成默认选项。
三款模型里 Comet 60B 最值得盯:它是「压缩平替」这条路线最直接的样本,参数砍半、能力基本不掉这件事如果能被第三方复现坐实,很多团队的部署成本账要重新算了。
延伸阅读:
📌 系列文章
- 智能体榜重排:Opus 5.5 Max 上线即领跑
- Muse Spark Open 实测:8160 亿开源模型本地跑
- Holo4 实测:27B 开源模型跑通电脑操作
- 全模态模型三强横评:音视频输入成本砍 93%
测了3款工具才发现差距这么大。关注我 👆 第一时间获取更多AI工具深度横评。