系列《AI 应用生产化手册》第 15 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)第 2 篇:C01 把账算清了,C02 开始省钱------而且是唯一"零质量损失"的省钱手段
一、先看问题:账算清了,钱还在哗哗漏
C01 用 cost_model.py 把成本拆到了"每次调用的输入/输出 token 值多少钱"。算完你大概率会看到三个现象:
- 同一个问题被反复问------10 个用户问"什么是 RAG",模型老老实实答了 10 遍,烧了 10 份钱。
- 热问题吃掉了大部分成本------按模型拆完还想再往下拆:到底是哪类问题在烧钱?
- 延迟也高------重复问题每次都要等模型重新生成,用户在那儿转圈。
解法就一个词:缓存 。相同输入直接返回上次的答案,一次模型调用都不发。钱省了、延迟降了、体验好了,三赢。
核心认知:缓存是 AI 成本优化的第一抓手,因为它是唯一"零质量损失"的优化------不是换便宜模型(质量会降),而是"同样的答案不重算"。但缓存有新鲜度和污染两个坑,90% 的失败都出在 key 设计上。
二、原理:三种缓存,别一上来就上最复杂的
2.1 三种机制对比
| 机制 | 命中条件 | 实现成本 | 收益 | 风险 |
|---|---|---|---|---|
| 精确缓存(本篇) | 输入完全相同 | 低(哈希 key) | 高(热问题命中率可观) | key 设计不当 → 命中率≈0 |
| 语义缓存 | 输入语义相似 | 中(embedding + 向量检索) | 更高(换个说法也命中) | 误命中(相似但不该复用) |
| Prefix Caching | 前缀相同(长上下文共享) | 供应商侧/网关侧 | 降长上下文成本 | 依赖供应商支持 |
演进路径:先精确缓存(低成本、高确定性)→ 命中率实在上不去了再上语义缓存 → Prefix Caching 基本看供应商脸色。 顺序反了就是给自己造事故。
2.2 缓存 key 设计(命中的生命线)
ini
key = hash(model + system 全文 + prompt 全文)
三个要素一个都不能少:
- model:不同模型答案不同,不能共享缓存
- system(提示词全文) :提示词改了一版,旧缓存必须自动失效------这一步顺手解决了 R02 灰度的串场问题(canary 用不同提示词 = 不同 key = 缓存天然隔离)
- prompt:问题本身
反模式:key 只含 prompt。后果是灰度之后新旧版本答案互相串、换模型之后答的全是旧模型的答案。
2.3 命中率与收益测算
scss
命中率 = 命中次数 / (命中 + 未命中)
节省成本 ≈ 命中次数 × 每请求平均成本(就是 C01 算出的 avg_cost_per_request)
先算"能省多少"再决定"值不值得做"。命中率只有 5% 的系统,做缓存的收益可能还不如回去优化提示词。
2.4 失效策略
| 策略 | 做法 | 适用 |
|---|---|---|
| TTL(本篇) | 缓存 N 秒后过期(CACHE_TTL_SECONDS) |
通用默认 |
| 主动失效 | 提示词/知识库更新时按 key 前缀清除 | 知识库问答(内容变了必须失效) |
| 不失效 | TTL=0 | 完全静态的内容 |
原则:宁可多失效,不可多命中。 缓存给出旧答案,比没有缓存更糟------用户会拿旧答案当真去用。
三、动手:从 6 个用例到真实链路验证
3.1 实现(SQLite,75 行)
python
# app/cache.py 核心
@staticmethod
def make_key(model, system, prompt):
raw = json.dumps({"m": model, "s": system, "p": prompt}, ensure_ascii=False)
return hashlib.sha256(raw.encode("utf-8")).hexdigest()
def get(self, model, system, prompt):
key = self.make_key(model, system, prompt)
row = conn.execute("SELECT answer, created_at FROM llm_cache WHERE key=?", (key,)).fetchone()
if not row: return None
answer, created = row
if self.ttl and time.time() - created > self.ttl: # TTL 过期直接删
conn.execute("DELETE FROM llm_cache WHERE key=?", (key,)); return None
conn.execute("UPDATE llm_cache SET hits = hits + 1 WHERE key=?", (key,))
return answer
生产把 SQLite 换成 Redis,接口一行不用改。
3.2 单元验证(免 Key,无网络)
bash
cd demo && source .venv/bin/activate
pytest tests/test_cache.py -q
真实输出:
css
...... [100%]
6 passed in 1.50s
6 个用例分别是:往返读写 / key 区分不同输入 / TTL 过期 / 命中计数 / chat_cached 命中不调 LLM / 从日志统计命中。
3.3 真实链路验证:第二次请求真的不调模型
bash
LLM_BACKUP_MODEL=chat-cheap uvicorn app.main:app --port 8000
# 另开终端,同一个问题发两次
curl -X POST http://localhost:8000/api/chat -H "Content-Type: application/json" -d '{"question":"什么是 RAG?"}'
curl -X POST http://localhost:8000/api/chat -H "Content-Type: application/json" -d '{"question":"什么是 RAG?"}'
真实返回(网关不通的极端场景下抓的,所以第一次走了降级链):
第 1 次(未命中,走了降级链):
json
{"answer":"抱歉,模型服务暂时不可用,请稍后重试。","model":"rule-fallback","degraded":true,"from_cache":false}
第 2 次(命中,同一个问题):
json
{"answer":"抱歉,模型服务暂时不可用,请稍后重试。","model":"chat-cheap","degraded":false,"from_cache":true}
日志里对应的耗时非常说明问题:
ini
event=cache_miss latency_ms=11151 ← 网关不通 + 降级链重试
event=cache_hit latency_ms=3 ← 命中,直接读库
11.1 秒 → 3 毫秒。 这里的 11 秒是"网关挂了还硬撑重试"造成的,正常生成大约 1-3 秒;但命中路径是常数级的------不排队、不看模型脸色。
3.4 key 区分实验(一定要做一遍)
python
from app.cache import ChatCache
c = ChatCache()
k1 = c.make_key('chat-strong', 'system-A', '什么是 RAG?')
k2 = c.make_key('chat-strong', 'system-B', '什么是 RAG?')
print('提示词变了 key 变了吗:', k1 != k2)
print('完全相同的 key 相同吗:', k1 == c.make_key('chat-strong', 'system-A', '什么是 RAG?'))
vbnet
提示词变了 key 变了吗: True
完全相同的 key 相同吗: True
体会这一下:key 里带 system 全文 = 提示词升级自动失效旧缓存 = 灰度不串场。 R02 遗留的那个坑,被 C02 顺带填了。
3.5 命中率与省钱统计
bash
python scripts/cache_stats.py --log /tmp/app.log --avg-cost 0.000461
ini
===== 缓存命中统计 =====
命中 1 / 未命中 1 / 总计 2
命中率: 50.0%
估算节省: 1 × 0.000461 = 0.0005 元
0.000461 就是 C01 实测的每请求平均成本(10 次调用、总成本 0.004608 元)。成本模型和缓存一接上,"省了多少钱"就从感觉变成了数字。
四、真实踩坑
- key 不含 model/system------换模型、改提示词后答旧答案;三要素必须齐
- 缓存与灰度串场------canary 用户命中 stable 的旧缓存;key 含 system 全文天然隔离
- TTL 不设------知识库更新后用户拿到旧答案;内容类必须短 TTL 或主动失效
- 命中率不统计 ------做了缓存不知道有没有用;
cache_hit/cache_miss事件必须打 - 缓存隐私------敏感问题答案明文落盘(SQLite 里能直接看);敏感场景要加密或跳过缓存
- 缓存风暴------热点 key 集体过期,瞬间全部回源;TTL 加随机抖动(和 A01 重试退避同理)
五、本篇收获
- 能对比精确 / 语义 / Prefix 三种缓存,说清演进顺序
- 能说出缓存 key 三要素和那条反模式
- 能写出命中率与节省成本的公式,并接到 C01 的 avg_cost 上
-
pytest tests/test_cache.py6/6 通过 - 真实链路跑出
from_cache=false→from_cache=true - 做完 key 实验:提示词一升级,旧缓存自动失效
下一篇(C03):进模块四第 3 篇《动态路由与模型选型》------简单问题走便宜模型、复杂问题走贵模型,把 C01 的成本模型变成自动决策(含真实分流实测)。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。