OpenAI 新增 12 小时提示缓存:跨小时任务能省多少?

同一套开发规范、工具定义和项目资料,上午让 Agent 读过,下午接着处理另一项任务时,能不能少付一遍输入费用?OpenAI 在 2026 年 10 月 20 日的 Responses API 更新中加入了可选的 12 小时提示缓存。它让一段稳定前缀有机会在更长间隔后继续按缓存读取费率计费,代价是首次写入更贵。

图 1:OpenAI API Changelog,展示 Responses API 新增 12 小时缓存选项及写入费率。来源:OpenAI API Changelog。

12 小时缓存,贵在第一次写入

提示缓存保存的是可复用输入前缀对应的计算状态。后续请求如果带着相同前缀,并在合适的缓存断点匹配上,才有机会按缓存读取价格计费。它不会把前一次的回答存下来,也不等于模型记住了整个项目。

按官方指南,以本篇的 gpt-6.1-sol 为例,默认的 30 分钟缓存写入价格是普通输入价格的 1.25 倍;选择 12 小时后,写入价格升到 2.5 倍。两个倍率都是写入时的总费率,不是在普通输入费用上再加一笔。成功读取缓存时,两种寿命的读取价格相同,都是普通输入价格的 0.05 倍。

换成更直观的单位:如果一段固定前缀按普通输入计费要花 1 元,那么 30 分钟写入相当于 1.25 元,12 小时写入相当于 2.5 元;之后每次缓存读取相当于 0.05 元。12 小时写入的成本是 30 分钟写入的两倍,所以它要靠后续复用来摊平差价。

跨小时反复使用时,算一遍固定前缀成本

设这段固定前缀每次按普通输入价格计费为 1 个成本单位,总共使用 n 次。为便于比较,先做一个明确的情景假设:请求分别发生在第 0、2、4、6、8 小时;30 分钟缓存每次都会在下一次请求前失效,因此每次都要重写;12 小时方案第一次写入后,后续请求都能读取同一缓存。

在这个假设下,30 分钟方案的前缀成本是 C30 = 1.25n,12 小时方案是 C12 = 2.5 + 0.05(n−1)。结果如下:

总使用次数 30 分钟:每次重写 12 小时:首次写入,之后读取
1 1.25 2.50
2 2.50 2.55
3 3.75 2.60
5 6.25 2.70

表 1:作者按官方缓存费率计算,普通输入成本为 1;假定 30 分钟缓存每次已失效、12 小时方案后续全部命中。使用次数包含首次写入。

这是作者按官方费率做的条件计算,只比较固定前缀的输入成本。使用三次时,12 小时方案是 2.60 个单位,低于 30 分钟方案的 3.75 个单位,差约 30.7%。这个比例不代表整个请求或账单都能省下这么多;每次变化的输入、模型输出、工具调用和其他费用都没有放进这笔算式。

关键在于假设是否符合自己的请求节奏。30 分钟是缓存的最低寿命,不表示缓存一到半小时就必然删除。若实际请求间隔很短,默认缓存原本就持续命中,成本会是 C30 = 1.25 + 0.05(n−1)。这时 12 小时方案仍需支付 2.5 个单位的首次写入费,相比之下会多花 1.25 个单位。单次调用、复用次数少或前缀经常变化,也很难摊平这部分差价。

把更长寿命留给稳定、足够长的前缀

比较适合考虑 12 小时缓存的,是同一工作日内会反复使用的稳定材料,例如 Agent 的开发规范、工具定义和项目参考资料。动态问题和每次变化的内容应该留在可复用前缀之后,并设置能匹配到稳定部分的缓存断点;仅仅把文本放在前面,不足以保证命中。

官方指南还要求 gpt-6.1-sol 的可缓存前缀至少包含 1,024 个可见输入 token。若有效的 30 分钟缓存要延长至 12 小时,升级本身也需要按 12 小时费率重新写入,之前的写入费用不会抵扣。是否适用,应结合前缀长度、缓存断点、重复频率和实际费用一起看。

请求级设置是 prompt_cache_options.ttl: "12h";需要分别设置不同前缀时,可用断点级的 prompt_cache_breakpoint.ttl 覆盖请求级设置。具体服务是否支持传递这些参数,需要在使用前确认。

12 小时指缓存计费的最低覆盖寿命,不是保证每次请求都能复用缓存,也不代表延迟一定更低。官方指南建议通过 usage 数据观察实际情况:cached_tokens 记录缓存读取量,写入量则可以按 ttl_30m_tokens 和 ttl_12h_tokens 区分。持续记录这些字段,才能用自己的请求算出真实输入成本。

先核对同一 SKU 的价格和服务能力

同一模型 SKU 的输入价和缓存输入价,可以作为估算的起点。下图的OkenAI的 gpt-6.1-sol 模型页面中,就展示了不同API线路的输入就和缓存输入价格对比。

图 2:OkenAI 的 gpt-6.1-sol 页面价格快照,来源:OkenAI。

可以从图中的同一 SKU 页面查看价格和服务信息,再结合自己的调用记录判断。若默认缓存已经持续命中,维持原设置通常更省;如果固定前缀会跨小时复用、默认缓存又经常需要重写,12 小时缓存才更有机会摊平额外写入成本。最后要比较的,是实际写入和读取产生的费用。

相关推荐
kaixin_啊啊1 小时前
【零基础学AI】第 15 章——数据可视化与探索
人工智能·信息可视化
Ward的AI产品实战1 小时前
开源 AI 网关 Magpie 调优终结篇:顺位排错、跨家族对抗审查与 5 大路由组重构(下篇)
前端·人工智能
jay神1 小时前
基于 YOLOv8 的无人机识别与检测系统
人工智能·深度学习·yolo·计算机视觉·无人机·课程设计·计算机毕业设计
田里的水稻1 小时前
FA_CNN卷积神经网络四---线性层及其拉平PyTorch
人工智能·pytorch·python·深度学习·神经网络·cnn
网易易盾1 小时前
直播话术合规改造:六类违规表述判定与改写规则
大数据·人工智能·安全
碧海银沙音频科技研究院1 小时前
实现炬芯ATS308X的usb cdc 串口IAP 固件升级功能实现
人工智能·嵌入式硬件·深度学习·算法
墨林陌1 小时前
AI 热点日报(2026-10-22):英伟达GTC柏林发布Vera Rubin与AI工厂,科大讯飞1024开发者节开幕
人工智能
axe_hu1 小时前
AI产品经理需要具备哪些能力?
人工智能·产品经理
有Li1 小时前
基于超高分辨率CT智能分割与测量的单侧梅尼埃病内耳解剖特征定量研究文献速递/医学智能体前沿
大数据·人工智能·学习·文献·医学生