什么是前缀缓存,缓存命中

在使用deepseek V4时,我们会发现调用API时的价格描述中分为了缓存命中和未命中两类,那么什么是缓存命中呢?

1. 基本概念

前缀缓存(Prefix Caching / KV Cache Reuse)

大模型推理时,每个token都要计算Key和Value向量,存入KV Cache。当多次请求共享相同的输入前缀(如system prompt、few-shot示例),这些前缀对应的KV Cache可以被复用,不必重复计算。

缓存命中(Cache Hit)

当新请求的前缀与缓存中已有的前缀匹配时,称为"命中",直接加载已有的KV Cache,跳过这部分的计算。未匹配则"未命中"(Cache Miss),需要重新计算。

2. 工作原理

请求A: systemcontext问题A → 计算全部KV Cache

请求B: systemcontext问题B → systemcontext部分命中,只计算问题B

关键细节:

  • 缓存以 1 分钟 TTL 过期,5 分钟内未被访问则失效

  • 前缀必须 从开头完全匹配,中间插入或修改任何 token 都会导致缓存断裂

  • 请求间前缀越长、越稳定,命中率越高

3. 典型应用场景

  • 多轮对话:每轮共享之前的对话历史

  • 批量推理:相同的system prompt + 不同问题

  • RAG系统:相同检索上下文 + 不同查询

  • Agent循环:同一prompt模板反复调用

相关推荐
Thanks_ks3 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
五彩小白6 小时前
Redis的过期删除和内存淘汰机制
数据库·redis·缓存
Qiuner6 小时前
用 SoduWork 跑通浏览器截图:派活、验货与顺手修 Bug
ai·开源·soduwork
GoldenSpider.AI6 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
JonaHu11 小时前
AceDataCloud Coding Plan 多模型编程:本地、CI 与团队仓库的 Token 隔离实战
ai编程·devops·codex·api安全·claude code
羲云网络12 小时前
一份多模型编程套餐怎么控成本:AceDataCloud Coding Plan缓存、Credits与鉴权排错
api·ai编程·codex·claude code·acedatacloud
AI英德西牛仔12 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang13 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
武昌库里写JAVA21 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
VIP_CQCRE21 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商