技术栈
llm运维
Web3&Basketball
2 小时前
python
·
大模型
·
agent
·
可观测性
·
litellm
·
成本控制
·
llm运维
litellm 做 Agent 成本监控：3 个账单维度实战
上个月我们一个 Agent 跑批任务，月底财务把账单拍在桌上：这个月的模型调用费是上个月的 3 倍。问题是我们根本说不清楚钱花在了哪一步。Agent 不像普通接口调用，它一个任务会拆成几十次 LLM 调用，横跨多个模型和工具，最后只拿到一张按总量的聚合账单。
我是有底线的