语义缓存实战：相似度阈值、错答风险与命中率对账

结论先放这儿

LLM 按次计费，但用户问的问题高度重复。精确缓存只认一模一样的输入，改个标点就失效，命中率惨不忍睹。语义缓存把问题转成向量，用相似度判断命中，能接住大量换说法的重复提问，真金白银地省钱。但它带来一个新风险，相似的问题被返回了不合适的答案。这篇讲清楚阈值怎么定、什么场景敢用。

精确缓存与语义缓存的差别

维度	精确缓存	语义缓存
命中条件	输入完全一致	相似度超过阈值
命中率	低，改一个字就 miss	高，同义改写也能命中
主要风险	几乎没有	相似但意图不同的问题被错答
额外成本	几乎为零	embedding 调用 + 向量库运维

精确缓存是免费的保险。语义缓存是真金白银换命中率，但风险也随之而来。

一个最小可用的实现

python 复制代码

import time

class SemanticCache:
    def __init__(self, threshold=0.92, ttl=600):
        self.items = []            # (vec, question, answer, ts)
        self.threshold = threshold
        self.ttl = ttl

    def lookup(self, vec):
        now = time.time()
        self.items = [it for it in self.items if now - it[3] < self.ttl]
        best, best_sim = None, 0.0
        for it in self.items:
            sim = cosine(vec, it[0])
            if sim > best_sim:
                best, best_sim = it, sim
        if best is not None and best_sim >= self.threshold:
            return best[2]
        return None

    def put(self, question, vec, answer):
        self.items.append((embed_vec(question), question, answer, time.time()))

工程上别自己造向量库，用 FAISS 或者带向量插件的 Redis 都行。这段代码只是把逻辑摊开，命中就返回旧答案，未命中就调模型并写回缓存，TTL 保证知识更新后旧答案会过期。

阈值怎么定

阈值是拿风险换命中率。

阈值 0.97，接住的基本是原句复述，命中率趋近精确缓存，但错答概率也趋近于零
阈值 0.92，能接住大量改写，错答率开始爬升
阈值 0.85，命中率漂亮，但「退货流程」和「退款政策」这类相似句会互相串

建议用真实业务问题跑一遍评测集，画出命中率与错答率的曲线，再选拐点附近的值。

什么场景敢用

并不是所有场景都值得上语义缓存。客服寒暄答错了没人在意，价格、库存、合规类问题答错就是事故。常见的折中是白名单机制，涉及敏感字段的问题不走语义缓存，直接透传给模型。

写在最后

落地顺序建议这样，先上精确缓存，几乎零成本零风险；命中率不够，再上语义缓存；上了语义缓存，就配一套抽检机制盯着错答率。缓存省的是真金白银，但答错一次的代价，可能抵得上几百次命中省下来的钱。把错答率也纳入监控口径，才算真正把语义缓存用明白。