128GB 让 “本地跑大模型” 成为日用品,但分水岭不在硬件

年底想在家或办公室跑大模型的人,都会撞上同一堵墙:显存。

一张 24GB 显存的显卡,装不下一个 70B 参数的模型 ------ 因为除了模型本身,长上下文的 "记忆缓存"(KV cache)还要额外吃内存。想在本地跑上百亿参数、又带长上下文的模型,桌面设备里真正能开口径的,是同一类形态:128GB 统一内存的迷你主机。

统一内存,就是 CPU 和 GPU 共用一个内存池 ------128GB 里的绝大部分都可以划给 GPU 用。

类比一下:传统电脑是 "算力厨房" 旁边单修一个小仓库(显存),食材稍微多点就转不开;统一内存则是全屋一个仓库,两边随便取。跑 100B 级模型,权重加 KV cache 轻松吃掉 80-100GB。这是 24GB 显卡永远够不着的门槛,却是 128GB 机器的日常。

门槛差有多少?看实测分层:

Ollama(最流行的本地模型工具)的默认策略是 ------24GB 以下只给 4k 上下文,48GB 以上才敢开 256k。

也就是说,内存决定的不只是 "能不能跑",还有 "能记住多少对话"。

模型侧也在下探:Qwen3.6 的 35B MoE 版本在 64GB 内存的笔记本核显上能跑到每秒 20 个 token。不过社区同时报告它在多步长任务上容易 "迷路"。门槛下探是真的,但**"容量够 + 速度稳"**仍然是跑正经任务的底线。

那最优解长什么样?

今年 11 月,两台 128GB 统一内存的桌面设备摆上了同一张评测桌:英伟达 DGX Spark 和 AMD 平台迷你主机。

结论很有意思:两者生成速度几乎打平(273 与 256 GB/s 的带宽差被评测者称为 "舍入误差"),"真正让它们有趣的,是容量,不是速度" 。

差别在别处:

  • 英伟达 DGX Spark:推理峰值快、生态是 CUDA
  • AMD 迷你主机:兼容 x86 全软件栈、价格约为一半,国内同类整机已在 2.3 万元档

10 月以来,国内外整机厂在这一形态上扎堆入场,微软也把 AMD Ryzen AI Max 正式写进了 "本机模型" 支持名单 ------形态收敛,已是行业共识。

形态收敛,恰恰说明一件事:硬件正在变成入场券,而不是差异点。

128GB 的设备只会越来越多、越来越便宜。真正的分水岭在软件层:这台设备上,跑什么样的 AI 体验?

Codigger 给出的答案是三件事:

  1. 本地推理承载高频任务:查资料、整理文档、代码辅助,在本地模型上完成,不烧 Token、数据不出域;
  2. 云工作站承接峰值:大算力的编译、渲染、训练按量上云,账单可预期;
  3. Agent 编排把两者串起来:任务该本地就本地、该上云就上云,由 Agent 自动调度,而不是让用户在两套环境之间来回搬文件。

这套体验不绑定某台特定设备:云端今天就能体验,未来也将出现在各类本地算力设备上。

硬件的竞赛,节奏由整个行业定;体验的答卷,得软件自己写。

128GB 统一内存让 "本地跑大模型" 从极客玩具变成了日用品 ------ 而决定它好不好用的,永远是跑在内存之上的那层软件。

相关推荐
codigger7 天前
AI 把代码写得飞快,然后呢?聊聊我验收生成代码的一套流程
ai·程序员·编程·#人工智能
codigger9 天前
程序员转型抉择:转 Agent 开发还是转全栈?一份基于招聘市场的冷静分析
程序员·编程·#人工智能·#agent
codigger20 天前
Vue nextTick 到底在等什么?一篇讲透原理与那些年踩过的坑
程序员·vue·编程·异步更新·#人工智能
codigger22 天前
前端没有被杀死,被杀死的是"只会把设计稿变成页面"
前端·ai·ai编程·编程语言·全栈·#人工智能
codigger23 天前
别再手动催 AI 干活了:一文读懂 Loop Engineering(循环工程)
ai·程序员·编程语言·#人工智能
codigger1 个月前
AI学会写代码之后,程序员节为什么更重要了
ai·程序员·ai编程·#人工智能
codigger1 个月前
MCP 退潮:为什么一线工程团队开始转向 CLI-First 的 Agent 工具模式
ai·程序员·编程语言·#人工智能·#agent
codigger1 个月前
大模型 Temperature 和 Top-p 到底有什么区别?一篇讲透原理与调参
ai·#人工智能·#agent
旋生万物1 个月前
全息编码:从 CRC 到 Merkle Tree 到区块链的统一视角
区块链·#人工智能·#后端开发·#软件工程·#数据结构与算法·#云原生·#分布式系统