2026-10-09-token与成本

一个工具返回值把账单翻倍:AI 应用 Token 成本排查实录与省钱四刀

前言

朋友公司的 AI 客服年底账单超预算一倍多,他百思不解:"我们没用贵的模型啊。"调出最贵几天的对话记录,十分钟定位:某个新接的工具返回原始数据一次几千字,全须全尾塞进上下文,一轮翻倍。成本失控的应用我没见过死于单价的,全是死于用量。这篇把账单构成、记账方法和省钱顺序一次讲清。

一、先破误区:账单不是"问加答"

大模型按每轮读到的所有内容收费:系统设定、工具说明书、历史对话、检索资料、工具返回,输入读一遍收一遍,输出另算。所以账单大小跟用户话多长关系不大,跟每轮上下文多胖正相关。用户一句"查下发货状态",背后模型可能读了上万字的设定、历史和资料。

二、账单的五块

构成 特征
系统设定 每轮固定付的底薪
工具说明书 随工具数变长
聊天历史 不管理就滚雪球
检索资料 动辄几千字
工具返回 最阴的一块:测试数据几十字,线上真实数据一次顶别人一轮

前三块通常有人管,工具返回悄无声息,账单曲线不说没人知道。

三、铁律:先记账再谈省

每次对话结束,token 用量、工具调用次数全存下来,按天/功能/用户拉曲线。有账本才能:找大户、抓异动(这周比上周贵四成=有人改了什么)、算均价(一次对话几毛钱,定价有据)。上面那个案子,曲线周中就翘头了,一个月后才被看见------天天看,损失少九成。

四、省钱四刀,顺序别反

  1. 砍工具返回浪费:大段返回存附件,对话里只放摘要加引用------最冤的一笔,砍了几乎不影响效果;
  2. 压历史:老对话压摘要,别滚雪球;
  3. 精选资料:别可着候选池全塞,带最好的几条;
  4. 治工具列表:说明书按需加载。

顺序的逻辑:前两刀省的是"一次性信息"的钱,最冤;系统设定这种每轮底薪动它影响所有对话,要评测数据撑腰再动。上来就换便宜模型方向是反的------桌子不收拾,换小饭馆照样天价账单。

五、写在最后

成本大半是设计出来的:上下文怎么摆、返回怎么存,写代码那天就定了账单。发布后再省,只能在既定结构里抠。最好的成本优化,发生在第一行代码之前。

下一篇:Temperature、输出长度这些参数到底在调什么。

相关推荐
徐小夕1 分钟前
深度剖析 30k star 的编码 Agent DeepSeek-Reasonix:长会话 Token 成本直降 80%
前端·vue.js·github
轻松西西莱尔3 分钟前
谷歌+斯坦福+CMU 等五家 203 页综述,我做了个HTML把主动式AI的边界跑给你看
前端·html·agent
吴名氏.15 分钟前
Java转AI Agent教程(第五周)Prompt工程
java·人工智能·prompt·ai agent
吴凡wudianmei16 分钟前
从 0 搭一个 AI Agent(四):SSE 跑通之后,三处“契约错配”与它们的修复边界
前端·后端·aigc
不可能片场17 分钟前
Electron 发布 别拿 load 事件当页面就绪
前端·electron
8Qi817 分钟前
DDD架构演进
java·分布式·mvc·ddd
云和恩墨23 分钟前
数据库监控简史:从会回答到能交付——AI-DBA如何成为真正的数字同事
数据库·人工智能·dba
paopaokaka_luck26 分钟前
灾害应急物资管理系统(AI应急助手、Echarts可视化数据看板、捐赠入库联动、 物资全流程管理、库存变动追溯、灾情资讯与互动反馈、物资发放公示)
java·前端·javascript·spring boot·mysql·tomcat·echarts
kyriewen28 分钟前
我验了 7 种 sticky 失效说法:3 种根本不成立
前端·javascript·程序员
SL_staff33 分钟前
HR系统对接钉钉考勤总失败?根源在于缺乏业务语义级逻辑中枢
java·开源·全栈