OpenAI 新增 12 小时提示缓存:跨小时任务能省多少?

同一套开发规范、工具定义和项目资料,上午让 Agent 读过,下午接着处理另一项任务时,能不能少付一遍输入费用?OpenAI 在 2026 年 10 月 20 日的 Responses API 更新中加入了可选的 12 小时提示缓存。它让一段稳定前缀有机会在更长间隔后继续按缓存读取费率计费,代价是首次写入更贵。

图 1:OpenAI API Changelog,展示 Responses API 新增 12 小时缓存选项及写入费率。来源:OpenAI API Changelog。

12 小时缓存,贵在第一次写入

提示缓存保存的是可复用输入前缀对应的计算状态。后续请求如果带着相同前缀,并在合适的缓存断点匹配上,才有机会按缓存读取价格计费。它不会把前一次的回答存下来,也不等于模型记住了整个项目。

按官方指南,以本篇的 gpt-6.1-sol 为例,默认的 30 分钟缓存写入价格是普通输入价格的 1.25 倍;选择 12 小时后,写入价格升到 2.5 倍。两个倍率都是写入时的总费率,不是在普通输入费用上再加一笔。成功读取缓存时,两种寿命的读取价格相同,都是普通输入价格的 0.05 倍。

换成更直观的单位:如果一段固定前缀按普通输入计费要花 1 元,那么 30 分钟写入相当于 1.25 元,12 小时写入相当于 2.5 元;之后每次缓存读取相当于 0.05 元。12 小时写入的成本是 30 分钟写入的两倍,所以它要靠后续复用来摊平差价。

跨小时反复使用时,算一遍固定前缀成本

设这段固定前缀每次按普通输入价格计费为 1 个成本单位,总共使用 n 次。为便于比较,先做一个明确的情景假设:请求分别发生在第 0、2、4、6、8 小时;30 分钟缓存每次都会在下一次请求前失效,因此每次都要重写;12 小时方案第一次写入后,后续请求都能读取同一缓存。

在这个假设下,30 分钟方案的前缀成本是 C30 = 1.25n,12 小时方案是 C12 = 2.5 + 0.05(n−1)。结果如下:

总使用次数 30 分钟:每次重写 12 小时:首次写入,之后读取
1 1.25 2.50
2 2.50 2.55
3 3.75 2.60
5 6.25 2.70

表 1:作者按官方缓存费率计算,普通输入成本为 1;假定 30 分钟缓存每次已失效、12 小时方案后续全部命中。使用次数包含首次写入。

这是作者按官方费率做的条件计算,只比较固定前缀的输入成本。使用三次时,12 小时方案是 2.60 个单位,低于 30 分钟方案的 3.75 个单位,差约 30.7%。这个比例不代表整个请求或账单都能省下这么多;每次变化的输入、模型输出、工具调用和其他费用都没有放进这笔算式。

关键在于假设是否符合自己的请求节奏。30 分钟是缓存的最低寿命,不表示缓存一到半小时就必然删除。若实际请求间隔很短,默认缓存原本就持续命中,成本会是 C30 = 1.25 + 0.05(n−1)。这时 12 小时方案仍需支付 2.5 个单位的首次写入费,相比之下会多花 1.25 个单位。单次调用、复用次数少或前缀经常变化,也很难摊平这部分差价。

把更长寿命留给稳定、足够长的前缀

比较适合考虑 12 小时缓存的,是同一工作日内会反复使用的稳定材料,例如 Agent 的开发规范、工具定义和项目参考资料。动态问题和每次变化的内容应该留在可复用前缀之后,并设置能匹配到稳定部分的缓存断点;仅仅把文本放在前面,不足以保证命中。

官方指南还要求 gpt-6.1-sol 的可缓存前缀至少包含 1,024 个可见输入 token。若有效的 30 分钟缓存要延长至 12 小时,升级本身也需要按 12 小时费率重新写入,之前的写入费用不会抵扣。是否适用,应结合前缀长度、缓存断点、重复频率和实际费用一起看。

请求级设置是 prompt_cache_options.ttl: "12h";需要分别设置不同前缀时,可用断点级的 prompt_cache_breakpoint.ttl 覆盖请求级设置。具体服务是否支持传递这些参数,需要在使用前确认。

12 小时指缓存计费的最低覆盖寿命,不是保证每次请求都能复用缓存,也不代表延迟一定更低。官方指南建议通过 usage 数据观察实际情况:cached_tokens 记录缓存读取量,写入量则可以按 ttl_30m_tokens 和 ttl_12h_tokens 区分。持续记录这些字段,才能用自己的请求算出真实输入成本。

先核对同一 SKU 的价格和服务能力

同一模型 SKU 的输入价和缓存输入价,可以作为估算的起点。下图的OkenAI的 gpt-6.1-sol 模型页面中,就展示了不同API线路的输入就和缓存输入价格对比。

图 2:OkenAI 的 gpt-6.1-sol 页面价格快照,来源:OkenAI。

可以从图中的同一 SKU 页面查看价格和服务信息,再结合自己的调用记录判断。若默认缓存已经持续命中,维持原设置通常更省;如果固定前缀会跨小时复用、默认缓存又经常需要重写,12 小时缓存才更有机会摊平额外写入成本。最后要比较的,是实际写入和读取产生的费用。

相关推荐
github_is_geeksKai21 分钟前
50 个 AI 与开源工具怎么选:从实际用途到实现边界
人工智能
IT_陈寒28 分钟前
Vite的HMR把我整不会了:一个生产环境的热更新坑
前端·人工智能·后端
github_is_geeksKai30 分钟前
浏览器 AI 小工具怎么选?40 个项目与 5 类商业任务的参考指南
人工智能
styshoo32 分钟前
[snapshot]7-placeholder与恢复流程
人工智能
用户9562562542939 分钟前
跟做:Firecrawl 单页转 Markdown 再丢进沙箱总结
python·api
这个DBA有点耶1 小时前
库内计算推理:一条SQL背后的算子融合,和外挂方案差了几次网络往返
数据库·人工智能·sql
SelectDB1 小时前
AI Agent 的分析数据存在哪里?Trace、Prompt 与会话数据的存储选型
人工智能
SelectDB1 小时前
京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询
人工智能
2601_967980111 小时前
Python行情API量化 02:顺序拉 20 要 2 秒?并发批量把时间压到 0.5 秒
python·api·限流·并发·量化
伞伞悦读2 小时前
【第81期】特征缩放怎么选:标准化、MinMax 与 Robust 的原理、泄漏对照和完整实验
人工智能·python·深度学习·机器学习