同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)

系列《AI 应用生产化手册》第 15 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)第 2 篇:C01 把账算清了,C02 开始省钱------而且是唯一"零质量损失"的省钱手段

一、先看问题:账算清了,钱还在哗哗漏

C01 用 cost_model.py 把成本拆到了"每次调用的输入/输出 token 值多少钱"。算完你大概率会看到三个现象:

  1. 同一个问题被反复问------10 个用户问"什么是 RAG",模型老老实实答了 10 遍,烧了 10 份钱。
  2. 热问题吃掉了大部分成本------按模型拆完还想再往下拆:到底是哪类问题在烧钱?
  3. 延迟也高------重复问题每次都要等模型重新生成,用户在那儿转圈。

解法就一个词:缓存 。相同输入直接返回上次的答案,一次模型调用都不发。钱省了、延迟降了、体验好了,三赢。

核心认知:缓存是 AI 成本优化的第一抓手,因为它是唯一"零质量损失"的优化------不是换便宜模型(质量会降),而是"同样的答案不重算"。但缓存有新鲜度和污染两个坑,90% 的失败都出在 key 设计上。

二、原理:三种缓存,别一上来就上最复杂的

2.1 三种机制对比

机制 命中条件 实现成本 收益 风险
精确缓存(本篇) 输入完全相同 低(哈希 key) 高(热问题命中率可观) key 设计不当 → 命中率≈0
语义缓存 输入语义相似 中(embedding + 向量检索) 更高(换个说法也命中) 误命中(相似但不该复用)
Prefix Caching 前缀相同(长上下文共享) 供应商侧/网关侧 降长上下文成本 依赖供应商支持

演进路径:先精确缓存(低成本、高确定性)→ 命中率实在上不去了再上语义缓存 → Prefix Caching 基本看供应商脸色。 顺序反了就是给自己造事故。

2.2 缓存 key 设计(命中的生命线)

ini 复制代码
key = hash(model + system 全文 + prompt 全文)

三个要素一个都不能少:

  • model:不同模型答案不同,不能共享缓存
  • system(提示词全文) :提示词改了一版,旧缓存必须自动失效------这一步顺手解决了 R02 灰度的串场问题(canary 用不同提示词 = 不同 key = 缓存天然隔离)
  • prompt:问题本身

反模式:key 只含 prompt。后果是灰度之后新旧版本答案互相串、换模型之后答的全是旧模型的答案。

2.3 命中率与收益测算

scss 复制代码
命中率 = 命中次数 / (命中 + 未命中)
节省成本 ≈ 命中次数 × 每请求平均成本(就是 C01 算出的 avg_cost_per_request)

先算"能省多少"再决定"值不值得做"。命中率只有 5% 的系统,做缓存的收益可能还不如回去优化提示词。

2.4 失效策略

策略 做法 适用
TTL(本篇) 缓存 N 秒后过期(CACHE_TTL_SECONDS) 通用默认
主动失效 提示词/知识库更新时按 key 前缀清除 知识库问答(内容变了必须失效)
不失效 TTL=0 完全静态的内容

原则:宁可多失效,不可多命中。 缓存给出旧答案,比没有缓存更糟------用户会拿旧答案当真去用。

三、动手:从 6 个用例到真实链路验证

3.1 实现(SQLite,75 行)

python 复制代码
# app/cache.py 核心
@staticmethod
def make_key(model, system, prompt):
    raw = json.dumps({"m": model, "s": system, "p": prompt}, ensure_ascii=False)
    return hashlib.sha256(raw.encode("utf-8")).hexdigest()

def get(self, model, system, prompt):
    key = self.make_key(model, system, prompt)
    row = conn.execute("SELECT answer, created_at FROM llm_cache WHERE key=?", (key,)).fetchone()
    if not row: return None
    answer, created = row
    if self.ttl and time.time() - created > self.ttl:   # TTL 过期直接删
        conn.execute("DELETE FROM llm_cache WHERE key=?", (key,)); return None
    conn.execute("UPDATE llm_cache SET hits = hits + 1 WHERE key=?", (key,))
    return answer

生产把 SQLite 换成 Redis,接口一行不用改。

3.2 单元验证(免 Key,无网络)

bash 复制代码
cd demo && source .venv/bin/activate
pytest tests/test_cache.py -q

真实输出:

css 复制代码
......                                                                   [100%]
6 passed in 1.50s

6 个用例分别是:往返读写 / key 区分不同输入 / TTL 过期 / 命中计数 / chat_cached 命中不调 LLM / 从日志统计命中。

3.3 真实链路验证:第二次请求真的不调模型

bash 复制代码
LLM_BACKUP_MODEL=chat-cheap uvicorn app.main:app --port 8000
# 另开终端,同一个问题发两次
curl -X POST http://localhost:8000/api/chat -H "Content-Type: application/json" -d '{"question":"什么是 RAG?"}'
curl -X POST http://localhost:8000/api/chat -H "Content-Type: application/json" -d '{"question":"什么是 RAG?"}'

真实返回(网关不通的极端场景下抓的,所以第一次走了降级链):

第 1 次(未命中,走了降级链):

json 复制代码
{"answer":"抱歉,模型服务暂时不可用,请稍后重试。","model":"rule-fallback","degraded":true,"from_cache":false}

第 2 次(命中,同一个问题):

json 复制代码
{"answer":"抱歉,模型服务暂时不可用,请稍后重试。","model":"chat-cheap","degraded":false,"from_cache":true}

日志里对应的耗时非常说明问题:

ini 复制代码
event=cache_miss   latency_ms=11151   ← 网关不通 + 降级链重试
event=cache_hit    latency_ms=3       ← 命中,直接读库

11.1 秒 → 3 毫秒。 这里的 11 秒是"网关挂了还硬撑重试"造成的,正常生成大约 1-3 秒;但命中路径是常数级的------不排队、不看模型脸色。

3.4 key 区分实验(一定要做一遍)

python 复制代码
from app.cache import ChatCache
c = ChatCache()
k1 = c.make_key('chat-strong', 'system-A', '什么是 RAG?')
k2 = c.make_key('chat-strong', 'system-B', '什么是 RAG?')
print('提示词变了 key 变了吗:', k1 != k2)
print('完全相同的 key 相同吗:', k1 == c.make_key('chat-strong', 'system-A', '什么是 RAG?'))
vbnet 复制代码
提示词变了 key 变了吗: True
完全相同的 key 相同吗: True

体会这一下:key 里带 system 全文 = 提示词升级自动失效旧缓存 = 灰度不串场。 R02 遗留的那个坑,被 C02 顺带填了。

3.5 命中率与省钱统计

bash 复制代码
python scripts/cache_stats.py --log /tmp/app.log --avg-cost 0.000461
ini 复制代码
===== 缓存命中统计 =====
命中 1 / 未命中 1 / 总计 2
命中率: 50.0%
估算节省: 1 × 0.000461 = 0.0005 元

0.000461 就是 C01 实测的每请求平均成本(10 次调用、总成本 0.004608 元)。成本模型和缓存一接上,"省了多少钱"就从感觉变成了数字。

四、真实踩坑

  1. key 不含 model/system------换模型、改提示词后答旧答案;三要素必须齐
  2. 缓存与灰度串场------canary 用户命中 stable 的旧缓存;key 含 system 全文天然隔离
  3. TTL 不设------知识库更新后用户拿到旧答案;内容类必须短 TTL 或主动失效
  4. 命中率不统计 ------做了缓存不知道有没有用;cache_hit/cache_miss 事件必须打
  5. 缓存隐私------敏感问题答案明文落盘(SQLite 里能直接看);敏感场景要加密或跳过缓存
  6. 缓存风暴------热点 key 集体过期,瞬间全部回源;TTL 加随机抖动(和 A01 重试退避同理)

五、本篇收获

  • 能对比精确 / 语义 / Prefix 三种缓存,说清演进顺序
  • 能说出缓存 key 三要素和那条反模式
  • 能写出命中率与节省成本的公式,并接到 C01 的 avg_cost 上
  • pytest tests/test_cache.py 6/6 通过
  • 真实链路跑出 from_cache=false → from_cache=true
  • 做完 key 实验:提示词一升级,旧缓存自动失效

下一篇(C03):进模块四第 3 篇《动态路由与模型选型》------简单问题走便宜模型、复杂问题走贵模型,把 C01 的成本模型变成自动决策(含真实分流实测)。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。

相关推荐
罗西的思考44 分钟前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考1 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库1 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静2 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康2 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea3 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen3 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
小七-七牛开发者3 小时前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
泯泷3 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent