kv缓存

推理还是训练 || KV缓存和CoT技术App对大型模型API需求将呈指数增长，因此未来在大模型推理方面的需求必然还有巨大的增量空间。而KV缓存和CoT技术的应用，让推理方面有很多系统设计方面的优化和挑战。所以如果有得选的话，推荐去推理相关的AI Infra的方向. 作为一个AI Infra，还是要熟悉一些关于硬件(特别是Nivaida设备)的基本参数和发展方向。比如说 CUDA，NVlink， IB这些基本概念需要做到心中有个具体的概念和参数。

SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：

用 KV 缓存量化解锁长文本生成很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化，它能够把你的语言模型的速度提升到一个新水平。

我是有底线的