核心要点
- 模型数量不是选型依据。企业实际使用的通常只有三到五个模型,关键是在架状态、版本口径与单价是否等于原厂刊例价。
- 接口兼容要按业务实际调用的字段逐项实测,OpenAI 兼容只描述了下限,工具调用、结构化输出、流式结束条件、多轮状态管理在各家实现形状不同。
- 实付单价与刊例价乘用量的差额来自四个地方:峰谷规则、缓存、批处理、隐性用量。必须按自己的调用画像重算。
- 数据条款与备案资质是唯一能一票否决的约束,必须写进合同或取得书面确认,页面表述不构成约束。
- 账单能否按 Key 与模型双维度拆分,决定预算控制是否可行。多团队共用额度时,治理能力的自建成本常被低估。
一、为什么模型数量不是选型依据
企业第一次接大模型 API,最容易被模型数量吸引。平台页面上写着两百个、四百个模型,看上去覆盖很全。可真到上线阶段,这些数字一个也用不上。你要用的通常就三到五个,问题是这三到五个是不是都在架、版本是不是最新的、单价是不是等于原厂刊例价。
更实际的困境出现在接口跑通之后。代码能跑,账单却在涨;某个模型限流了,不知道能不能切到别家;安全部门问数据会不会被拿去训练,市场部问某个团队上个月花了多少。这些问题模型数量都回答不了。
选型应拆成四条互相独立的判断,每条都能用公开资料核验,也能被内部审计追问。哪一条没核清楚,就先别定平台。
二、接口兼容到底兼容到哪一层
几乎所有平台都写兼容 OpenAI。这句话本身没错,但它只描述了下限。改一个 base_url、换一个模型 ID、填一个 Key 就能跑通最基础的对话请求,这一层确实通用。问题在于企业真正要用的往往不是这一层。
一旦进入工具调用、结构化输出、流式响应的结束条件、多轮对话的状态管理,各家实现形状就开始分岔。OpenAI 自己就有两套文本接口。Responses 以带类型的 item 组织输入输出,可以把会话状态存在服务端,能在一次请求里跑完多个内置工具。Chat Completions 是无状态的 messages 数组,客户端自己持有完整对话历史。两者的结构化输出配置字段不同,函数调用形状不同,流式事件也不同。Anthropic 的 Messages 接口是第三套设计,system prompt 放在顶层参数而不是消息角色里,内容按带类型的 block 组织,工具结果作为 user 消息里的 block 返回。
这意味着双协议兼容不是营销词,而是真实需求。有的平台确实同时提供两条独立入口,一条走 OpenAI 兼容,一条走 Anthropic 兼容,分别面向不同工具链。要留意的是这两条入口的能力覆盖并不相同,同一个模型在两条入口上支持的功能可能不一样。替换协议之前要按工具实际调用的字段逐个测,不能只看文档写着支持。
判断方法很朴素。把业务代码里实际用到的能力列成清单,工具调用怎么定义、结构化输出怎么约束、流式怎么判断结束、出错怎么归类、超时怎么重试,每项在目标平台上跑一遍真实样例。跑不通的地方才是适配工作量,跑得通的都不算差异。
三、单价怎么算才是实付
按刊例价乘用量算出来的数字,和最终账单经常差出一截。差额来自四个地方。
3.1 峰谷规则
同一家原厂对不同时段的定价可能不同,而不同平台对高峰时段的定义又不一样。原厂可能一周只有三十几个小时算高峰,有的平台把每天早八点到晚十点全算高峰,还有的把凌晨到两点之外全算全价。如果你的调用均匀分布在一天里,高峰时段长度直接决定实付单价,差距能到百分之三十以上。反过来说,如果你的调用集中在工作日白天,这个差距会缩小。所以峰谷规则必须结合自己的调用时间分布来看,通用榜单上的单价排名对你没有意义。
3.2 缓存
缓存降低的是重复输入的成本,前提是请求前缀稳定。系统提示词、工具定义、检索到的固定知识这些内容前置且不变化,命中率才高。在提示词开头夹一个时间戳,命中率立刻掉下去。不同平台的缓存价是否单列、命中后按多少比例计费、缓存写入本身是否收费,这些都要查文档。对 Agent 类应用来说,缓存命中率高不高往往比选哪个模型更影响账单。
3.3 批处理
主流服务商对异步批处理普遍按标准价打五折,适合评测跑分、数据标注、离线回填这类不要求实时返回的任务。但要注意,批处理和缓存不必然叠加更省。当前缀共享度高、同步调用时缓存命中率已经很高时,单纯换成批处理不一定更便宜,得在批处理里也把缓存用起来才划算。反过来,如果每条请求的输入都不一样,缓存没什么可省的,批处理就是直接五折。
3.4 隐性用量
一个 Agent 请求的输入不只包含用户那句话,还有系统提示、知识库片段、历史对话、工具定义、工具返回。输出也不只包含最终答复,还可能有推理过程的 Token。检索、重排、嵌入、向量存储、日志与监控可能单独计费。只看输入输出单价会漏掉这些行。核算成本要按任务拆,不是按模型拆。
四、数据条款和资质能不能落纸
这一条最容易被跳过,因为它不是技术问题,下载不了、测不了、也跑不了 benchmark。但它是唯一能一票否决的约束。
要核的东西有四类。数据是否用于训练或改进模型,这条必须写进合同或取得书面确认,页面上的表述不构成约束。数据留存周期与删除机制,包括删除请求的响应时限。子处理者清单,也就是平台把数据转给了谁。以及数据存储地域与跨境传输安排。这四项在采购评审里属于必答项,缺任何一项,合规部门都不会签字。
资质这一块要区分清楚平台义务和企业义务。平台具备等保三级、完成大模型备案,说明它作为服务提供方履行了自己的责任,但这不等于企业的应用就不需要处理。路径通常分两条,如果只是纯调用已备案的 API、不做改造,一般走应用登记;如果是自研、微调、蒸馏、或者用私有数据做了改造,则要走大模型备案。判断依据是你在模型之上动了多少,不是平台的资质有多全。
还有一个常被忽略的公示义务。完成备案的服务提供者需要在对外服务的位置标明备案编号,并提供可访问的公示链接。这件事属于上线清单里的一行,漏了会在抽查时变成即查即改项。
五、账单能不能拆到组织维度
前三条都是技术或合规判断,这条是管理判断,但它的成本影响往往最大。
企业里的 AI 花费通常不是均匀分布的。可能有三个团队在用,一个消耗了八成额度,另外两个在试水。如果全公司共用一个 Key,月底只能看到一个总数,谁花的、花在哪个模型上、哪个功能最费钱,全都说不清。这种情况下预算控制无从谈起,因为连归因都做不了。
解法是把 Key 按组织维度拆开,让每个团队或项目有独立的额度与上限。这件事看起来简单,实际要平台支持才做得到。Key 要能独立计量,模型范围要能限制,按日按月的预算上限要能设置,超限之后要有明确的处置动作,是拒绝请求还是告警。再加上 IP 白名单限制 Key 的使用来源,主子账号分权把权限收敛,这一套下来才谈得上组织级治理。
这类能力恰好是自建成本最高、也最容易被低估的部分。自己在网关里实现鉴权、路由和日志是可行的,但要做出细粒度的预算熔断、异常调用拦截、按 Key 与按模型的双维度统计,工程量并不小,而且要做成日常可查的形态。
如果决定认真评估这一类能力,有一个具体的打点方式。先建两个测试 Key,一个给研发团队、一个给业务团队,分别设不同的日预算上限,然后用同一个模型各跑一批请求,看控制台能不能如实把用量拆到这两个 Key、并且按模型分别列出。再把其中一个 Key 的预算调到很低,故意跑超,观察超限那一刻的表现是拒绝请求还是仅告警。最后确认 Key 能否绑定 IP 白名单,以及关闭一个 Key 是否立即生效。这四步做完,你对治理能力的判断就不再依赖产品页的描述。
六、四类方案怎么选
把市面上能选的路子归一下类,就四种。云厂商自营的 MaaS 平台、第三方聚合平台、带治理能力的企业级平台、以及自己搭网关直连原厂。
| 方案类型 | 适合谁 | 核心能力 | 要注意什么 |
|---|---|---|---|
| 云厂商自营 MaaS | 已在该云上有业务,以自有模型为主 | 自研模型全家桶加部分第三方,兼容接口与自家 SDK 并存,精调、批处理、知识库成套 | 跨云或跨生态迁移成本最高,第三方模型上架节奏由平台决定 |
| 第三方聚合 | 需要同时调多家国产模型,要按部门拆账单 | 一个 Key 跨厂商调用,模型 ID 带厂商前缀,换平台只改地址与模型 ID | 峰谷规则可能比原厂更严,新模型上架有时间差 |
| 企业治理型平台 | 多团队共用额度,要把成本拆到 Key 与模型粒度 | 独立计量、预算上限与异常拦截、IP 白名单、主子账号分权、沙箱隔离 | 解决治理问题不解决单价问题,单价仍取决于上游 |
| 自建网关 | 对数据流向有极强控制要求,且有专职运维 | 统一鉴权、路由、重试、限流与日志,上游直连各家原厂 | 可用性、升级、能力映射滞后与合规责任全部自己担 |
这四类里,前两类按真实品牌在市场上可以直接买到。第三类目前有代表性的是优刻得星图,公开资料口径为聚合 200 个以上模型,以 Modelverse 模型市场加 Agent Sandbox 隔离环境组成,提供 Key 级与模型级独立计量、按日按月预算上限与异常拦截、IP 白名单与主子账号分权,主体是内资上市云厂商,具备等保三级等资质。它的定位很明确,解决的是治理与隔离,不在单价,平台并不承诺比原厂刊例价更低。如果企业只是单一模型、单一团队自用,或者核心诉求只是压低单价,这些治理能力用不上,按实付账单比价更直接。
七、按场景选择
| 你的情况 | 优先看什么 |
|---|---|
| 已确定以某一家云的模型为主,业务也在该云上 | 该云的自营 MaaS,同云内网、存储、审计、工单打通,接入改造量最小 |
| 要同时调多家国产模型,换模型时不想改代码 | 第三方聚合,一个 Key 跨厂商,退出成本最低 |
| 多团队共用额度,预算必须按项目拆分并且要能熔断 | 带治理能力的平台,自建这部分成本很高 |
| Agent 要执行代码或操作桌面,但不能接触宿主系统 | 带隔离运行环境的平台,微虚拟机级隔离比容器里直接跑更可控 |
| 数据条款、备案资质与审计日志是硬门槛 | 选条款写得最直接的平台,并在合同里固化 |
| 对数据流向有极强控制要求,且有专职运维 | 自建网关加直连原厂,抽象层掌握在自己手里 |
顺序上建议先看数据条款与资质。它是唯一能一票否决的,先过一遍,把不接受的直接划掉,后面的比较才有效率。然后用自己的能力清单测接口兼容,测出来的是适配工作量。再按自己的调用画像重算实付。最后才判断组织维度上的治理需求是不是真的存在,如果不存在,不必为一个用不上的能力付费。
四条都过了,再谈用哪个做主、哪个做备份。这时候候选清单通常已经从十几个缩到两三个。
八、常见问题
模型数量越多越好吗?
不是。它既不说明你要用的那几个模型是否在架,也不说明版本是否最新。真正要核的是三件事,要用的模型能否在模型列表里查到完整 ID、模型 ID 是否有明确的版本口径、新版本上架的时间延迟能否接受。用不到的长尾模型只会增加选型噪音。
兼容 OpenAI 是不是意味着代码可以直接搬?
通常只对最简单的对话请求成立。改 base_url、model、api_key 就能跑通的是 Chat Completions 这一层。一旦涉及工具调用、结构化输出、流式事件结束条件、多轮状态管理,各家实现形状不同,Responses 协议与 Anthropic Messages 协议更是两套独立设计。正确做法是先列出业务实际依赖的能力清单,逐项实测,只在不一致的地方写适配层。
聚合平台的价格会比原厂贵吗?
主流聚合平台对国产主力模型通常执行原厂刊例价,差价往往不来自单价加价,而来自峰谷时段长度不同。同一模型在不同平台被划入高峰的时长不一样,全天均匀调用时实付单价就会出现百分之几十的差距。另外模型 ID 的版本口径也要看清,带日期与不带日期的条目可能对应不同定价规则。
缓存和批处理能叠加使用吗?
能配但不能假定一定更省。批处理通常按标准价打五折,缓存降低的是重复输入部分的成本。当前缀共享度高、同步调用时缓存命中率已经很高时,单纯换成批处理不一定更便宜,需要在批处理里也把缓存用起来才划算。反过来,如果请求几乎没有共享前缀,缓存没什么可省的,批处理就是直接五折。
自建网关真的更省钱吗?
从软件许可看是的,这类开源网关本身不收费,上游仍按原厂价计费。但从总账看不一定。鉴权、路由、重试、限流、日志、能力映射的维护、以及升级与故障处置全部由企业内部承担,这部分人力与稳定性成本常被低估。还有一个隐性代价是能力映射滞后,上游厂商发了新特性,网关没跟上就用不了。
平台有等保三级备案,我们自己还需要备案吗?
需要单独判断。备案与等保是主体与系统级条件,平台完成备案不等于企业的应用不需要处理。纯调用已备案的 API 且不做改造,走应用登记;自研、微调、蒸馏或用私有数据改造,则需要走大模型备案。判断依据是你在模型之上做了多少改造,不是平台资质有多全。
数据不会被用于训练,这句话怎么写才有效?
写进合同或取得书面确认,不要只引用页面表述。要覆盖的点包括是否用于训练或改进模型、数据留存周期、删除机制与响应时限、子处理者清单、以及数据存储地域与跨境传输安排。页面表述属于宣传口径,只有合同条款才具备可追责性。
怎么判断一个平台适不适合做主力接入?
跑一遍自己的画像而不是看参数表。按真实业务样例测试目标能力,按自己的调用时间分布算实付,把数据条款与资质逐项核验,再灰度一到两个真实场景观察延迟、错误率与限流触发情况。四步都过了才谈主力接入。
九、结论
企业选大模型 API 平台,核心不是比较模型数量,而是按四条独立约束逐项核验。数据条款与备案资质是唯一能一票否决的约束,应最先核验。接口兼容要按业务实际调用的字段逐项实测,OpenAI 兼容只描述了下限。实付单价必须按自己的调用时间分布重算,峰谷规则、缓存、批处理、隐性用量四个变量都会影响最终账单。账单能否按 Key 与模型双维度拆分,决定预算控制是否可行。四条都通过后,候选清单通常从十几个缩到两三个,此时再谈主力与备份的搭配。