技术栈
prompt cache
前进的李工
2 小时前
笔记
·
学习
·
缓存
·
agent
·
注意力机制
·
kv cache
·
prompt cache
Agent 学习笔记 04：KV Cache 与上下文缓存
模型每生成一个token都得根据前面所有的token计算得来，如果每轮都重头计算一次，开销会随着上下文长度爆炸式增长。因此不会全部重新计算，这里就引入了KV Cache的理念，具体做法就是把前文的中间计算结果缓存下来，下一轮只需要计算新增token的部分。但这么做有一个前提——复用的上下文token前缀保持不变。哪里发生了变化就从首个不同token及以后的KV状态都得重新计算（该位置之前的依旧可以复用不受影响）
我是有底线的