AI 服务跑在按量计费的小模型上。这类模型便宜、快，但"每调一次都要花钱"。如果肆无忌惮地调，成本会失控；如果为了省钱限制太多，体验又变差。
做法很巧妙：用工程手段把"必须调模型"的场景压到最少------能命中缓存的就直接返回，能熔断的就不调，Redis 挂了还有内存兜底。
一、预算熔断：今天花钱到上限就停
最简单的成本控制，是设一个每日预算天花板。
budget.py 里有一个 budget_broken() 函数，每次调用前先检查：今天累计花费有没有超过上限。一旦超了，直接返回"服务暂不可用"的降级文案，不再调模型。
这就像给 API 调用装了一个"电表跳闸"------电费超了自动断电，避免一夜之间账单爆炸。
而且预算数据是落盘 的（写进 data/budget_store.json），服务重启也不会"忘记"今天花了多少，当日累计依然准确。每笔花费由 record_cost() 实时累加，估算公式按 token 数 × 单价。
二、限流：别被自己的流量打爆
除了花钱，还要防止单次流量把上游模型打挂。budget.py 里实现了一个经典的令牌桶限流 （_TokenBucket）：
- 系统每秒生成固定数量的"令牌"（由配置项控制）；
- 每次请求消耗一个令牌，令牌不够就拒绝；
- 这样无论用户多疯狂点击，对上游模型的请求速率都被牢牢按住。
限流计数也做了"多 worker 共享"：配了 Redis 就用 Redis 的全局计数器；没配 Redis，就退化为单进程内存令牌桶------单实例 / 本地开发完全够用。而且单次 Redis 抖动只降级到内存令牌桶，绝不会因为这点抖动就把整个 Redis 缓存层判死。
三、缓存旁路：最省的一刀
如果说预算和限流是"节流"，那缓存就是"开源"------它直接减少必须调模型的次数。
缓存逻辑非常聪明：
1. 相同请求直接命中缓存，连 LLM 都不进。 同一用户、同一输入、同一问题，第一次算完就把结果存起来，后面直接返回。这是降负载最划算的一刀------你压缩半天 prompt，不如别人压根不调模型。
2. Redis 是"可选增强"，内存兜底做扎实。 配了 Redis → 多进程 / 横向扩展共享缓存；没配、或 Redis 挂了 → 自动降级到带 TTL 的内存缓存 ，单实例本地开发完全能跑。更贴心的是，内存缓存还会定期落盘 （data/cache_store.json），所以即使 Redis 不可用、甚至服务重启，之前算过的结果还能命中，避免重启后白白再调一次 LLM。
3. 缓存键带"源文件内容哈希"，改代码自动失效。 这是最值得讲的一个设计。
缓存键长什么样
ruby
interpret:<结果哈希>:<focus>:v19:<prompt模板哈希>注意末尾的 <prompt模板哈希>，来自 _prompt_fmt_hash(module)，它对"影响该模块输出格式"的源文件（prompt 模板 + 共享片段 + formatter）取 MD5 内容哈希。
历史上，每次升级 prompt 模板或渲染格式，都要手动 bump 一个 _CACHE_VER 版本号。漏 bump 一次，旧缓存里格式错误的文本就会绕过新逻辑直接返回给用户------光这类事故就踩过 14 次。
后来改成"缓存键带源文件内容哈希"：你改了 prompt 模板，文件内容变了，哈希随之变化，旧缓存自动整体失效，开发者再也不用记着"这次升级要手动 bump 版本号"。漏一次就回放旧格式坏输出"的坑，从根上消失了。
四、为什么"不调模型"是最高级的优化
很多人优化 LLM 应用，第一反应是"换更好的模型""调更优的 prompt"。但经验是：少调一次模型，胜过调优一万次 prompt。
- 命中缓存：成本 = 0，延迟 = 内存读取；
- 调一次模型：成本 = token 钱，延迟 = 几百毫秒到几秒，还冒着超时 / 抽风的风险。
所以成本治理的优先级天然是：缓存旁路 > 预算熔断 > 限流 > 调模型。把不需要调的都拦在门外，剩下的才是模型该干的活。
一次真实节省
假设一个热门问题每天被问 500 次。没有缓存时，500 次全调模型；有缓存后，第 1 次算完，后面 499 次全命中------模型调用从 500 降到 1，成本降 99.8%，响应还从"等几秒"变成"瞬间返回"。
五、一句话总结
成本治理不是"精打细算"，而是"能不调就不调"：预算熔断兜底、令牌桶限流保护上游、缓存旁路直接省掉调用、Redis 挂了内存兜底、改代码缓存自动失效。一套组合拳下来，小模型也能跑出可控、可预期的成本曲线。
代码锚点
- 预算 / 缓存 / 限流：
oraclemind-ai/src/services/budget.py（budget_broken/cache_get/cache_set/_prompt_fmt_hash/_TokenBucket）