大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本

编者按: 最近圈子里总有个声音,说现在大模型的 API 定价根本不可持续,全靠风投在背后烧钱补贴,等哪天资本撤了,价格马上就得暴涨。但事实真的如此吗?Token 的真实成本,到底有没有被严重低估?

我们今天为大家带来的文章,作者的观点是:当前按 Token 计费的 API 价格其实相当准确地反映了其背后的底层运行成本,真正的"补贴"更多是发生在面向个人的订阅套餐上,而非 API 调用本身。

为了验证这个判断,作者没停留在理论层面,而是拿 Kimi K3 做了个具体的拆解。他先是横向对比了 OpenRouter 上十几家供应商的 API 报价,接着又算了一笔"自托管"的账------从购买 8 张 GB300 GPU 的 55 万美元硬件成本,到机房托管、电费带宽,再到每月的 Token 吞吐量。算下来,只要产能跑满,自建服务器的运行成本其实明显低于服务商的收费。当然,这里我得补充一句,作者自己也坦言,这个粗略的分析忽略了高达数亿美元的模型训练成本,这部分确实算是投资者在承担。但无论如何,他通过这笔账把一个核心逻辑讲透了,这也是我想反复强调的:激烈的市场竞争确实在把价格往下压,但从底层算力成本来看,API 定价依然留有可观的利润空间,并没有大家想象的那么"赔本赚吆喝"。

作者 | Hadley Wickham

编译 | 岳扬

我经常听到一种质疑的声音,认为 AI token 的定价根本不可持续,那些前沿实验室是在拿 VC 的钱替我们大幅贴补。先低价让人上瘾,等哪天想狠狠赚一笔了,随时可以撤走补贴。真是这样吗?我的感觉是,大体上不是。但我能用一些数据来支撑这个判断吗?这篇文章要做的就是这件事。

现在有很多开放模型(open models)可用,但在这里我想重点谈谈 Kimi K3。过去几个月我一直在大量使用它,有趣的是,即使在 Opus 5.5 发布之后,我依然继续使用它。体感上 Opus 5.5 确实比 Kimi K3 聪明一点,可到头来我还是更愿意回到 Kimi K3------图的就是划算。这个话题我想留到以后单独写一篇,因为它正好牵出 Posit Assistant1 里我最喜欢的功能之一:cost display。这是一个强大的工具,可以帮助你建立一种直觉------模型的钱花在了哪里,以及某个特定任务大概应该花多少钱。

Posit Assistant 的聊天框显示了当前对话的累计费用(34K tokens,$0.94),旁边的模型选择器设为 Kimi K3。

因此,Kimi K3 可以作为一个"扎实的顶尖模型"的合理代表:也许它没那么强,但已经非常接近了。那它的成本是多少呢?

01 OpenRouter 上的报价

因为是开放模型,Kimi K3 在好几家供应商那儿都买得到。下面是 OpenRouter 当前的定价。我加了一个 blended 列,采用的是智能体编程(agentic coding)场景下的典型比例:输入输出比为 20:1,且 95% 的输入来自缓存。后面我们在对比 API 调用和自建部署的成本时会用到这个数据。

#> Provider Input /M Output /M Cache /M Blended /M

#> Wafer 0.28 9.60 0.13 0.59

#> Sail Research 0.22 10.72 0.11 0.62

#> Relace 0.21 9.33 0.21 0.64

#> Makora 0.36 12.00 0.12 0.70

#> Chutes 1.85 9.50 0.18 0.71

#> Decart 1.95 9.75 0.20 0.73

#> ParetoAlpha 1.00 11.25 0.23 0.79

#> Fireworks 2.10 10.50 0.21 0.79

#> Phala 2.55 12.75 0.26 0.96

#> DigitalOcean 2.55 12.95 0.26 0.97

#> InferenceNet 0.23 16.50 0.20 0.97

#> Morph 1.42 12.00 0.40 1.00

#> DeepInfra 2.85 14.25 0.28 1.07

#> Amazon Bedrock 3.00 15.00 0.30 1.13

#> Parasail 3.00 15.00 0.30 1.13

#> Modal 3.00 15.00 0.30 1.13

#> Together 3.00 15.00 0.30 1.13

#> BaseTen 3.00 15.00 0.30 1.13

#> Moonshot AI 3.00 15.00 0.30 1.13

#> Alibaba 3.45 17.25 0.34 1.30

#> AkashML 1.20 14.00 1.20 1.81

你会注意到这里有很多选择!而且我敢打赌,大多数购买决策都是由价格驱动的,这意味着这些供应商在价格上面临着巨大的竞争压力。

有什么能阻止各种补贴把价格压低到不可持续的地步呢?这么说吧,我猜最便宜的那几家供应商确实在烧风投的钱来拉拢客户。但与此同时,处于价格高位区间的也有六家供应商,它们的报价基本都在同一水平。其中一家是 BaseTen2,我们正与他们合作,为 Posit AI Pass3 提供模型服务。这家的服务质量我敢以个人名义打包票:虽然不是最便宜的,但我们的合作体验非常棒。

以上是直接"买现成"的 Kimi K3。那如果我们尝试自己部署托管呢?

02 自托管的成本

本地部署大模型这方面我不是行家,所以拉了 Claude 一起算这笔账4。写的时候,但凡落到具体事实我都一条条核实过。可也保不齐 Claude 从一开始就把我带进了完全错的方向,底下还埋着个我没看出来的更深的坑。不过,先算一版试试。

先得买一台能跑得动 Kimi K3 的机器。这得花多少钱?Moonshot AI(Kimi K3 的作者)给了一份 vLLM 部署方案5,推荐"至少 8x GB300"。照这个配置能选的,比如 Supermicro 8U GPU SuperServer6,一台标价足足 550,000!我手边可没摆着五十万美元闲钱,所以这笔钱得靠借。按年息 8%(这大概还算往乐观里估算)借 3 年,摊到每月就是 17,000 上下。

换个办法,也可以按每张 4/hour 上下去租这 8 张 GPU。把那笔机房托管费(下面会讲)算进来,总数跟买机子差不多。借钱买下来的好处是,三年到期还能把机器转手,说不定净回笼 150,000。租的好处则是,想收手随时能收手。

接下来我们需要把这台服务器放在某个地方。这类场所叫做服务器托管机房(colocation facility),虽然互联网上一般查不到定价信息,但 Claude 声称每月大约需要 3,750,外加600 的带宽费和约 $700 的电费。你也许会考虑把服务器放在自己家里,但它会产生巨量的热量,你还得为它专门买一台空调。

还有一些其他零碎开销,加起来每月总成本约为 $23,000。

那么我们一个月能处理多少 token 呢?SemiAnalysis7 给的数大约是每张 GPU ~6000 tokens/s,8 张便是 48,000 tokens/second,合 124 billion tokens/month。假设利用率达到 75%(对 API 服务商来说挺合理),那么成本约为 0.25 / million tokens。再按智能体编程这一使用场景的常见比例(输入:输出 20:1,输入里 95% 走缓存)来算,对应的 API 服务成本(BaseTen 和同档那几家)是 1.13 per million tokens。只要产能真能跑满,看起来自建服务器的运行成本明显低于服务商的收费。

显然,这只是一个粗略的分析,但它为 token 服务成本设定了一个合理的上限。真做成生意,规模效应、跟供应商砍价的余地都还能再压一截,可另一头也得给人发工资。

03 补贴

所以,我想我现在相信:token 的价格相当准确地反映了其背后的成本。激烈的竞争正在把成本往下压,但从底层成本来看,似乎仍然留有相当可观的利润空间。

这并不是说补贴就不存在了!我只是觉得,补贴并不发生在按 token 计费的 API 价格上,而是发生在订阅套餐上。SemiAnalysis 最近的一篇文章指出,一个每月 200 美元的套餐,能让你用到价值 2,000 到 10,000 美元不等的 token。这类套餐只面向个人和小型企业开放,企业客户则必须按 token 单价付费。

还有一点值得注意:我的分析忽略了模型训练的成本,而这项成本可能高达数亿美元8。目前,这笔费用由 Moonshot AI 的投资者承担。你可以认为这也是一种补贴,这个说法不无道理。我希望能有更多的政府意识到,训练开放模型是一件有益于社会的事(总好过让前沿模型只攥在私营企业手里),并决定直接为其提供资金支持。

你怎么看?你觉得本文这个分析能够说服你吗?你还有其他证据,能够说明 token 的真实成本到底是多少吗?

END

本期互动内容 🍻

作者在文末很诚实地补充了一点:这笔自托管的账,其实忽略了高达数亿美元的模型训练成本。读到这儿时,我其实犹豫了一下:如果把训练成本也强行摊薄到每一次推理里,现在的 API 定价逻辑可能瞬间就会被推翻。 我想听听大家的看法:你认为"训练成本"应该由推理阶段的 Token 价格来承担吗?还是说,在成熟的商业模式里,推理和训练本来就该是两笔分开算的账?

文中链接

1assistant.posit.co/

2www.baseten.co/

3posit.ai/

4claude.ai/share/77e18...

5recipes.vllm.ai/moonshotai/...

6store.supermicro.com/us_en/8u-gp...

7inferencex.semianalysis.com/run/kimi-k3...

8yaroslavvb.github.io/training-nu...

原文链接:

substack.hadley.nz/p/how-much-...

相关推荐
数字融合8 分钟前
透明化视频动态三维重建空间数据零核心技术
人工智能·python·virtualenv
谙弆悕博士20 分钟前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
AI创界者41 分钟前
Python 进阶实战(五十四章):大模型推理网关终极架构——分布式全局前缀 Trie 缓存同步与多网关高可用协同调度
人工智能·python·aigc
后端小肥肠1 小时前
公众号里流量很夯的漫画赛道:趣味漫画创作全拆解
人工智能·aigc·agent
程序油菜花1 小时前
微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
人工智能
锋行天下2 小时前
LangGraph 对接 MCP 实战指南:从本地开发到线上部署与模型防坑
前端·人工智能·后端
汤姆宝库2 小时前
解码采样策略的实现:temperature、top-p、min-p与重复惩罚
人工智能
鶴哥只手遮天2 小时前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能
宝桥南山2 小时前
Visual Studio 2026新特性 - 可以直接连接DeepSeek(使用Custom Endpoint Provider配置项)
ide·microsoft·微软·aigc·.net·visual studio