一、事件与架构定位
两笔开源落在同一周:DeepSeek 的 DeepInfer(Apache 2.0,兼容英伟达与昇腾,官方口径 25000+ decode tokens/s)和 Google 的 TorchTPU(PyTorch 原生 TPU 后端,与 Meta PyTorch 团队共建,标准 torch.device("tpu") 无需重写)。加上此前亚马逊的 TorchNeuron 迁移工具,主流云厂商都在做同一件事:把"切换芯片"的工程成本压到接近一行配置。
二、锁定成本四层架构
| 层 | 以前的状态 | 开源之后 | 剩余成本 |
|---|---|---|---|
| 代码层 | 业务代码与 CUDA 工具链深度绑定,切换=重写 | PyTorch 标准路径一行配置 | CUDA 专属算子、自编译内核仍需重写 |
| 运维层 | 厂商闭源引擎,黑盒调优 | 引擎源码可得,可自审计 | 调优、压测、故障排查人力全自担 |
| 生态层 | CUDA 长尾工具链垄断 | 昇腾/TPU 官方后端补齐主干 | 长尾依赖(监控、 profiling、算子库)适配缺口 |
| 谈判层 | 换不起,续约被报价单拿捏 | 议价权向采购方转移 | 新锁定形式:框架维护方节奏绑定 |
三、隐性成本清单(宣传里没有的)
- 性能数字是官方自述。25000 tokens/s 缺第三方在真实业务负载下的复现,选型前必须自己跑影子测试。
- "一行配置"只覆盖标准写法。存量项目里 CUDA 专属依赖占比需要先盘出来,这部分的重写账经常比省下的算力钱大。
- 运维人力是持续支出。引擎开源后 bug 自己修或等社区,SLA 责任回到使用方。
- 长尾适配是坑最密的地方。监控埋点、性能分析工具、特定算子库,主干跑通不等于生产可用。
四、采购侧避坑清单
- 双后端影子测试:上线前在目标后端跑至少两周真实流量,记录延迟分位数和成本曲线。
- CUDA 依赖盘点入立项:切换项目里,代码改造费单独列预算,不与算力节省混算。
- 续约谈判带上"可切换性":把"我们有能力在 N 周内迁到第二后端"写进谈判筹码,不需要真走,报价就会松动。
- 评估框架而非只评估芯片:新锁定点在框架维护方的更新节奏与社区活跃度,选型时看 commit 频次和 issue 响应,别只看 benchmark。
五、结语
这波开源最实在的价值在谈判层:锁定没消失,但松动了一格。对做算力预算的人,账要算全,底气要用在续约桌上。