技术栈

codigger

codigger
17 分钟前
#人工智能·codigger
128GB 让 “本地跑大模型” 成为日用品,但分水岭不在硬件年底想在家或办公室跑大模型的人,都会撞上同一堵墙:显存。一张 24GB 显存的显卡,装不下一个 70B 参数的模型 —— 因为除了模型本身,长上下文的 “记忆缓存”(KV cache)还要额外吃内存。想在本地跑上百亿参数、又带长上下文的模型,桌面设备里真正能开口径的,是同一类形态:128GB 统一内存的迷你主机。
我是有底线的