开源大模型追踪：TurboQuant量化指南：128K上下文不再爆显存，KV缓存3-bit免重训1. 它压的是 KV 缓存，不是权重——这是多数指南跳过的区别。 权重量化（Q4_K_M 等）压缩的是模型" permanent 知识"，让模型塞进显存；KV 缓存量化压缩的是推理时每个 token 的"临时工作记忆"。当上下文从 4K 拉到 128K，权重一分没涨，涨的全是 KV 缓存。一个 70B 模型在 128K 上下文下的 KV 缓存本身就能吃掉 40GB+ 显存——比很多量化后的权重（Q4 约 35–40GB）还大，甚至比权重更先顶爆单卡。TurboQuant 瞄准的正是这个被忽视的瓶颈：很多人