kv cache

爱分享的飘哥13 天前
llama·llama.cpp·kv cache·attention优化·llm cpu推理·量化attention·gguf推理
第四十六章：AI的“瞬时记忆”与“高效聚焦”：llama.cpp的KV Cache与Attention机制我们已经亲身体验了LLaMA.cpp在CPU上运行大语言模型的神奇速度。一个7B参数的模型，在你的普通电脑上，也能做到几乎“秒回”，这在几年前是难以想象的。
SpikeKing1 年前
gpt·attention·公式·矩阵乘法·kv cache·decoderonly·键值缓存
LLM - GPT(Decoder Only) 类模型的 KV Cache 公式与原理 教程欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141605718