kv缓存

deephub1 个月前
人工智能·深度学习·transformer·大语言模型·kv缓存
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：
HuggingFace8 个月前
量化·kv缓存
用 KV 缓存量化解锁长文本生成很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。