注：AI 生成的示意图，非官方原始图表，不代表真实数据形状。画面为概念化表达：左侧铺展开的稀疏专家网络，经由压缩，落入右侧一台笔记本内的紧凑存储。
74B 塞进 24GB：NVIDIA 新开源模型，把本地智能体的门槛砍了一刀
2026 年 10 月 15 日 · 技术解读 · 全文约 4000 字
十月十三号，NVIDIA 发了篇博客。标题很平实，说的是给 RTX Spark 笔记本铺路的软件生态。大多数人扫一眼就划走了，因为里面一半篇幅在讲游戏、DLSS 和 Adobe。
中间藏着一小段。NVIDIA 写道，一个叫 Nemotron 3.5 Bolt 74B-A9B 24GB 的模型，将在十月十五号，也就是今天推出。七百四十亿参数，每次只激活九十亿，用 2 比特量化压进 24GB。训练数据、权重、训练配方，全部公开。
这段话值得停下来看一眼。它回答的是一个很具体的问题：一个想在自己电脑上跑智能体的人，到底需要多大的机器。
一、名字就是规格书
这个模型的名字长得很啰嗦，可它其实是一张压缩过的规格表。
- 74B 总参数量，七百四十亿。
- A9B 每生成一个 token，实际激活的参数约九十亿。
- 24GB 权重压完之后占用的内存，NVIDIA 给的目标值。
- Bolt 型号名。同代还有个更小的 E4B，面向游戏里的 AI 角色，官方说 10 月 23 日发布。
三组数字摆在一起，矛盾就露出来了。七百四十亿参数，按常规 16 比特存，光权重就要一百多 GB。一台笔记本凭什么装得下？
答案分两半。一半叫混合专家，一半叫 2 比特量化。这两件事经常被混在一起说，其实它们解决的是完全不同的问题。
二、混合专家省的是算力，不省硬盘
稠密模型像一家全能诊所。病人进来，从头到脚所有科室都过一遍，每个参数都要参与计算。混合专家（MoE）把模型拆成一堆专家，每个 token 进来，路由器只挑其中几个干活。
NVIDIA 给的比例是 74B 总参数、9B 激活。粗算一下，每个 token 大概只动用了百分之十二的参数。计算量因此降下来了，生成速度更接近一个九十亿参数的稠密模型，可调用的知识面却铺在七百四十亿参数上。
但这里有个坑，很多人栽过。专家没被激活，不代表它不存在。那些暂时躺着的参数，照样得在内存里占位置。MoE 省的是每一次前向传播要算多少，它一点没省存储。
所以「74B 的模型跑在笔记本上」这件事，真正的瓶颈从头到尾都是内存，而从来不是速度。要把它塞进 24GB，得靠另一半答案。
三、2 比特：把一百多 GB 按到 18.5GB
量化的道理不复杂。模型权重是一堆小数，平时用 16 比特存一个。位数砍一半，体积就砍一半；砍到 2 比特，体积只剩八分之一。
按 NVIDIA 公布的 74B 总参数和 2 比特这两个数，可以自己算一笔账。这段代码可以复制下来跑：
total_params = 74e9 # NVIDIA 公布的 74B 总参数
bits_per_param = 2 # NVIDIA 公布的 2 比特量化
bits = total_params * bits_per_param
gib_decimal = bits / 8 / 1e9 # 按十进制 GB 估算
gib_binary = bits / 8 / (1024**3) # 按 GiB 估算
print(f"权重体积约 {gib_decimal:.1f} GB / {gib_binary:.1f} GiB")
# 输出：权重体积约 18.5 GB / 17.2 GiB十八点五 GB。这是按官方两个数字直接乘出来的结果，属于本文推算，不是 NVIDIA 给的口径。它和 24GB 之间那五 GB 出头的差额，来自量化格式的元数据、激活值、归一化层参数和推理框架的开销。
真正的问题在质量。把一个训练好的模型直接压到 2 比特，就像把一本精装书撕了重印成袖珍本，字会糊。常见的做法是训练完成后压缩（PTQ），压到 2 比特这种程度，推理能力通常会明显掉。
NVIDIA 的说法是用了量化感知训练（QAT）：训练阶段就让模型知道自己的权重最终会是 2 比特，让它学着在低精度下工作，而不是训练完再硬压。NVIDIA 原文的表述是「运用先进的量化感知训练技术保持模型质量」。
注意
「2 比特 + QAT 能不能保住质量」是一个需要测量才能回答的问题。截至本文发稿，NVIDIA 的博客里没有附任何基准测试数据。它给的那句「速度快于大多数热门稠密模型，同时在内存占用相近的情况下，智能水平高于大多数热门 MoE 模型」，是厂商自己的定位表述，没有随文发布可复核的测试结果。
四、24GB 是地板，不是舒适区
把 24GB 理解成「这台机器能跑」是危险的。它只是权重压完之后的大小。
模型一跑起来，还要吃内存的有：上下文越长就越占地方的 KV 缓存、推理框架自身的开销、以及智能体那一层要记的工具调用历史和中间结果。智能体和聊天机器人不一样，它要记住自己做过什么、下一步要做什么，这部分状态很吃内存。
NVIDIA 把首发运行环境列了五家：llama.cpp、vLLM、Ollama、Unsloth、LM Studio，另外可以直接通过 Hermes 和 OpenClaw 这两个智能体框架调用。它瞄准的 RTX Spark 笔记本，官方口径是最高 128GB 统一内存、1 PFLOPS 的 AI 算力。
换句话说，24GB 是能启动的下限。真想拿它当一个能干活的智能体，你得留出富余。
五、被低估的不是参数量，是训练配方
「开源」这个词现在很廉价。放个权重文件，叫开源；放个权重文件加个许可证，也叫开源。
NVIDIA 这次的说法是「完全开源，包括训练数据、权重和训练方案」。在官方 Nemotron 页面的 FAQ 里，它把自家许可称作 NVIDIA Open Model License，描述为宽松许可：可以自由使用、修改、分发和商业部署模型及其衍生模型，不需要署名 NVIDIA。
训练配方公开的价值，比权重公开高一个量级。拿到权重，你只能微调；拿到数据和配方，你能回答「它为什么是这样」，能复现，能审计，也能在自己数据上重训一个。对做智能体的人来说，后者才是真正的自由度。
这里要补一句实话：本文写作环境无法直接访问 Hugging Face，权重文件是否已全部上传、仓库页上的许可文本具体怎么写的，我未能逐一核实。上面关于许可证的描述，全部引自 NVIDIA 官方 Nemotron 页面。真要下载，请以官方仓库页面为准。
六、一起发的东西，比模型本身更值得看
这篇博客真正密集的信息量，在模型之外。三件事值得单独拎出来。
**第一件，PAIR 正式版。**这是一个免费开源的个人 AI 路由器，能自动发现局域网里的电脑，装好模型和推理引擎，再把负载分出去。本地 AI 从此不必困在一台机器上。NVIDIA 说它发布一个月，社区已经贡献了十多项功能和修复。
**第二件，Switchyard。**一个开源的模型路由库。它让智能体自己判断：这个问题扔给本地免费模型，还是扔给付费的云端模型。NVIDIA 的原话是让用户减少云端用量，同时拿到接近全用云端的结果。Perplexity Computer 和 GitHub Copilot 已经各自集成了自己的路由方案。
**第三件，沙箱。**智能体能碰你的文件系统，这很刺激，也很危险。NVIDIA 用 OpenShell 加微软执行容器（MXC）做隔离，MXC 提供操作系统级安全，OpenShell 负责降低接入门槛并加上凭据保护和安全监控。OpenClaw 和 GitHub Copilot 已经支持 MXC，Hermes Agent 说月底前跟上。
还有一条容易被忽略的：GitHub Copilot 更新了它的模型路由器 HydraFusion 以支持本地模型；微软则把 MAI 1.1 Coding Flash 这类编码模型带到本地，并把 llama.cpp 接进了 Windows ML。主流编程工具正在把「本地模型」从玩具列表挪进正式选项。
七、同一周，另一条相反的路
把大模型塞进小内存，NVIDIA 选的是压权重。就在几天前，面壁智能的 MiniCPM-V 4.7 选了另一条路：改调度。
按 OpenBMB 官方仓库的说法，MiniCPM-V 4.7 的 35B-A3B 版本用约 3GB 内存，在 iPhone 17 Pro Max 上跑到 13+ token/s 的解码速度。它靠的是一项叫 LES（前瞻专家调度）的技术：跨层预测下一层可能用到哪些专家，在当前层还在计算时就先把它们加载好，并优先计算那些已经就位的专家，让加载和计算重叠起来。官方称这带来了 5 倍端侧真实加速，且不牺牲模型能力。代码和权重用 Apache-2.0。
顺带一提，中文媒体对这一版的报道口径不完全一致：上海证券报、新京报等写的是「iPad Pro 实测 15+ token/s」，而官方 README 写的是「iPhone 17 Pro Max、13+ token/s」。设备和数字都不同，大概率是不同测试条件。引用时最好说清楚是哪一份口径。
两条路没有高下。NVIDIA 压的是权重体积，面壁压的是专家加载的等待。它们共同说明一件事：端侧模型的竞争，已经从「谁能把模型做小」变成了「谁能把内存和延迟同时摁住」。
八、现在还不能信的三件事
- **一、任何「比谁强」的结论。**NVIDIA 没随文发布基准数据。在独立第三方测出结果之前，那句「更快、更聪明」只能当广告语看。
- **二、「本地模型下载量已是去年全年 5 倍」。**这句话出自 NVIDIA 博客，但文中没有给出统计口径、样本范围和数据来源。它是一个没有附数据的说法。
- **三、24GB 等于「一台机器搞定」。**见第四节。权重、上下文、框架、智能体状态，四笔账要分开算。
九、你今天就能动手的三件事
**1. 先量内存，再谈跑模型。**打开任务管理器，看看自己机器有多少统一内存或显存。低于 24GB 的话，这个模型跟你暂时没关系，可以先去看 MiniCPM-V 4.7 那条路。
**2. 用 Ollama 或 LM Studio 起步。**这两个是图形界面，不用碰命令行。等官方仓库上线后，按官方给的模型名拉取。注意核对仓库归属，热门模型发布前后经常出现同名或仿名的第三方仓库。
**3. 拿一个真实小任务试水。**别问「你聪明吗」。给它一个具体的活：读一段代码提三个问题，或者整理一个文件夹的命名。智能体模型的能力全在工具调用和多步执行上，闲聊反而测不出东西。
模型是今天发的，机器是明天卖的。这个时间差说明了一件事：NVIDIA 很清楚，光有模型没有硬件，这个故事讲不圆。
而对普通开发者来说，真正该关心的从来不是哪个参数更大。是「我今晚能不能在自己电脑上把它跑起来，跑起来之后它能不能替我干点活」。这一次，这个问题的答案比去年近了一步。
近了一步，还不是一步到位。等独立评测出来，我们再聊。