一个工具返回值把账单翻倍:AI 应用 Token 成本排查实录与省钱四刀
前言
朋友公司的 AI 客服年底账单超预算一倍多,他百思不解:"我们没用贵的模型啊。"调出最贵几天的对话记录,十分钟定位:某个新接的工具返回原始数据一次几千字,全须全尾塞进上下文,一轮翻倍。成本失控的应用我没见过死于单价的,全是死于用量。这篇把账单构成、记账方法和省钱顺序一次讲清。
一、先破误区:账单不是"问加答"
大模型按每轮读到的所有内容收费:系统设定、工具说明书、历史对话、检索资料、工具返回,输入读一遍收一遍,输出另算。所以账单大小跟用户话多长关系不大,跟每轮上下文多胖正相关。用户一句"查下发货状态",背后模型可能读了上万字的设定、历史和资料。
二、账单的五块
| 构成 | 特征 |
|---|---|
| 系统设定 | 每轮固定付的底薪 |
| 工具说明书 | 随工具数变长 |
| 聊天历史 | 不管理就滚雪球 |
| 检索资料 | 动辄几千字 |
| 工具返回 | 最阴的一块:测试数据几十字,线上真实数据一次顶别人一轮 |
前三块通常有人管,工具返回悄无声息,账单曲线不说没人知道。
三、铁律:先记账再谈省
每次对话结束,token 用量、工具调用次数全存下来,按天/功能/用户拉曲线。有账本才能:找大户、抓异动(这周比上周贵四成=有人改了什么)、算均价(一次对话几毛钱,定价有据)。上面那个案子,曲线周中就翘头了,一个月后才被看见------天天看,损失少九成。
四、省钱四刀,顺序别反
- 砍工具返回浪费:大段返回存附件,对话里只放摘要加引用------最冤的一笔,砍了几乎不影响效果;
- 压历史:老对话压摘要,别滚雪球;
- 精选资料:别可着候选池全塞,带最好的几条;
- 治工具列表:说明书按需加载。
顺序的逻辑:前两刀省的是"一次性信息"的钱,最冤;系统设定这种每轮底薪动它影响所有对话,要评测数据撑腰再动。上来就换便宜模型方向是反的------桌子不收拾,换小饭馆照样天价账单。
五、写在最后
成本大半是设计出来的:上下文怎么摆、返回怎么存,写代码那天就定了账单。发布后再省,只能在既定结构里抠。最好的成本优化,发生在第一行代码之前。
下一篇:Temperature、输出长度这些参数到底在调什么。