技术栈
token计费
Sakura_j_h_
15 天前
python
·
大模型
·
fastapi
·
超时重试
·
token计费
给 FastAPI 接大模型：超时、重试和 token 成本该怎么管
上个月我在 python-emotion-system 的课堂答疑页接了一个大模型接口：学生上传的试卷解析成文本后，可以就某道题追问。演示时一切正常，到了真实课堂，老师反馈"点完答疑按钮一直转圈，最后报 504"。我翻日志才发现，同一个问题其实被后端发了三次，模型那边三次都生成了完整回答，而浏览器只等到一个超时页面。功能看起来只是"慢"，账单却实打实地多花了钱。
Web3&Basketball
17 天前
python
·
大模型
·
成本优化
·
minimax
·
推理优化
·
token计费
MiniMax M3.1 Flash实战：3个成本坑
我把同一个编码任务在两个 Flash 档模型上各算了一遍账，算完发现一件反直觉的事：工作日白天换过去，成本直接砍半；周六凌晨换过去，一分钱不省；而如果你不管住输出 token，换过去反而更贵。其实真正决定账单的，从来不是标签上那个「每百万多少钱」。这篇把这道账、一份能直接跑的脚本，和我踩到的 3 个坑放出来。
Blockbuater_drug
1 个月前
大模型基础
·
上下文窗口
·
token计费
·
消息结构
·
chat template
·
agent底层机制
《AI Agent原理与实战》2026版 第2课 LLM 基础回顾：Agent 视角下的语言模型
本文收录于专栏 agent智能体系列 —— 专栏系统覆盖 AI Agent 的记忆、工具、插件与实战，点击订阅可跟踪后续更新。
程序员在囧途
4 个月前
运维
·
服务器
·
数据库
·
likeadmin-api
·
api中转站
·
token计费
likeadmin-api API 中转站怎么做统一报价？从 /pricing、/user/balance 到 task_id 回执的落地方法
摘要：很多 AI API 生意不是死在模型不够多，而是死在报价解释不清、余额不透明、交付回执不标准。https://api.likeadmin.cn 这类接口平台真正该先补的，是价格查询、余额查询和异步任务回执链路。只要 Authorization: Bearer、/pricing、/user/balance、task_id 讲清楚，售前和交付会轻很多。
我是有底线的