年底想在家或办公室跑大模型的人,都会撞上同一堵墙:显存。
一张 24GB 显存的显卡,装不下一个 70B 参数的模型 ------ 因为除了模型本身,长上下文的 "记忆缓存"(KV cache)还要额外吃内存。想在本地跑上百亿参数、又带长上下文的模型,桌面设备里真正能开口径的,是同一类形态:128GB 统一内存的迷你主机。
统一内存,就是 CPU 和 GPU 共用一个内存池 ------128GB 里的绝大部分都可以划给 GPU 用。
类比一下:传统电脑是 "算力厨房" 旁边单修一个小仓库(显存),食材稍微多点就转不开;统一内存则是全屋一个仓库,两边随便取。跑 100B 级模型,权重加 KV cache 轻松吃掉 80-100GB。这是 24GB 显卡永远够不着的门槛,却是 128GB 机器的日常。
门槛差有多少?看实测分层: Ollama(最流行的本地模型工具)的默认策略是 ------24GB 以下只给 4k 上下文,48GB 以上才敢开 256k。
也就是说,内存决定的不只是 "能不能跑",还有 "能记住多少对话"。 模型侧也在下探:Qwen3.6 的 35B MoE 版本在 64GB 内存的笔记本核显上能跑到每秒 20 个 token。不过社区同时报告它在多步长任务上容易 "迷路"。门槛下探是真的,但 "容量够 + 速度稳" 仍然是跑正经任务的底线。
那最优解长什么样? 今年 11 月,两台 128GB 统一内存的桌面设备摆上了同一张评测桌:英伟达 DGX Spark 和 AMD 平台迷你主机。
结论很有意思:两者生成速度几乎打平(273 与 256 GB/s 的带宽差被评测者称为 "舍入误差"), "真正让它们有趣的,是容量,不是速度" 。 差别在别处:
- 英伟达 DGX Spark:推理峰值快、生态是 CUDA
- AMD 迷你主机:兼容 x86 全软件栈、价格约为一半,国内同类整机已在 2.3 万元档
10 月以来,国内外整机厂在这一形态上扎堆入场,微软也把 AMD Ryzen AI Max 正式写进了 "本机模型" 支持名单 ------形态收敛,已是行业共识。
形态收敛,恰恰说明一件事:硬件正在变成入场券,而不是差异点。 128GB 的设备只会越来越多、越来越便宜。真正的分水岭在软件层:这台设备上,跑什么样的 AI 体验?
Codigger 给出的答案是三件事:
- 本地推理承载高频任务:查资料、整理文档、代码辅助,在本地模型上完成,不烧 Token、数据不出域;
- 云工作站承接峰值:大算力的编译、渲染、训练按量上云,账单可预期;
- Agent 编排把两者串起来:任务该本地就本地、该上云就上云,由 Agent 自动调度,而不是让用户在两套环境之间来回搬文件。
这套体验不绑定某台特定设备:云端今天就能体验,未来也将出现在各类本地算力设备上。
硬件的竞赛,节奏由整个行业定;体验的答卷,得软件自己写。
128GB 统一内存让 "本地跑大模型" 从极客玩具变成了日用品 ------ 而决定它好不好用的,永远是跑在内存之上的那层软件。