128GB 让 “本地跑大模型” 成为日用品,但分水岭不在硬件

年底想在家或办公室跑大模型的人,都会撞上同一堵墙:显存。

一张 24GB 显存的显卡,装不下一个 70B 参数的模型 ------ 因为除了模型本身,长上下文的 "记忆缓存"(KV cache)还要额外吃内存。想在本地跑上百亿参数、又带长上下文的模型,桌面设备里真正能开口径的,是同一类形态:128GB 统一内存的迷你主机。

统一内存,就是 CPU 和 GPU 共用一个内存池 ------128GB 里的绝大部分都可以划给 GPU 用。

类比一下:传统电脑是 "算力厨房" 旁边单修一个小仓库(显存),食材稍微多点就转不开;统一内存则是全屋一个仓库,两边随便取。跑 100B 级模型,权重加 KV cache 轻松吃掉 80-100GB。这是 24GB 显卡永远够不着的门槛,却是 128GB 机器的日常。

门槛差有多少?看实测分层: Ollama(最流行的本地模型工具)的默认策略是 ------24GB 以下只给 4k 上下文,48GB 以上才敢开 256k。

也就是说,内存决定的不只是 "能不能跑",还有 "能记住多少对话"。 模型侧也在下探:Qwen3.6 的 35B MoE 版本在 64GB 内存的笔记本核显上能跑到每秒 20 个 token。不过社区同时报告它在多步长任务上容易 "迷路"。门槛下探是真的,但 "容量够 + 速度稳" 仍然是跑正经任务的底线。

那最优解长什么样? 今年 11 月,两台 128GB 统一内存的桌面设备摆上了同一张评测桌:英伟达 DGX Spark 和 AMD 平台迷你主机。

结论很有意思:两者生成速度几乎打平(273 与 256 GB/s 的带宽差被评测者称为 "舍入误差"), "真正让它们有趣的,是容量,不是速度" 。 差别在别处:

  • 英伟达 DGX Spark:推理峰值快、生态是 CUDA
  • AMD 迷你主机:兼容 x86 全软件栈、价格约为一半,国内同类整机已在 2.3 万元档

10 月以来,国内外整机厂在这一形态上扎堆入场,微软也把 AMD Ryzen AI Max 正式写进了 "本机模型" 支持名单 ------形态收敛,已是行业共识。

形态收敛,恰恰说明一件事:硬件正在变成入场券,而不是差异点。 128GB 的设备只会越来越多、越来越便宜。真正的分水岭在软件层:这台设备上,跑什么样的 AI 体验?

Codigger 给出的答案是三件事:

  1. 本地推理承载高频任务:查资料、整理文档、代码辅助,在本地模型上完成,不烧 Token、数据不出域;
  2. 云工作站承接峰值:大算力的编译、渲染、训练按量上云,账单可预期;
  3. Agent 编排把两者串起来:任务该本地就本地、该上云就上云,由 Agent 自动调度,而不是让用户在两套环境之间来回搬文件。

这套体验不绑定某台特定设备:云端今天就能体验,未来也将出现在各类本地算力设备上。

硬件的竞赛,节奏由整个行业定;体验的答卷,得软件自己写。

128GB 统一内存让 "本地跑大模型" 从极客玩具变成了日用品 ------ 而决定它好不好用的,永远是跑在内存之上的那层软件。

相关推荐
oil欧哟14 分钟前
Gemini 4 系列与 Antigravity 使用心得:Carbon、Argon 与 Hydrogen 实测与提速方法
人工智能
菜鸟~noob23330 分钟前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
aneasystone本尊38 分钟前
大模型训练系列收官:动手训一个属于自己的小模型
人工智能
杨凯凡1 小时前
Spring AI MCP 多租户安全实战:共享 Session 会串数据吗?工具权限与隔离边界
人工智能·安全·spring
chh56310 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval10 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi11 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿11 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方12 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit