Spot GPU 与预留 GPU:AI 初创公司的实用成本指南

如果在整个 10 月(共 744 小时)持续运行一块 DigitalOcean H100 GPU,按照目前(2026年10月)公布的 按需价格------每 GPU 小时 4.41 美元计算,计算费用将达到 3,281.04 美元。如果承诺使用 12 个月,则可以享受每 GPU 小时 3.26 美元的预留价格,计算费用将降至 2,425.44 美元。与此同时,微软零售价格 API 显示,美国东部区域的 H100 Spot VM 价格约为每小时 1.29 美元,连续运行 744 小时的费用约为 959.69 美元。

不同方案之间的价格差距相当明显。但它们在购买条款、硬件配置,以及持续为客户提供服务的能力方面也存在差异。

这正是 Spot GPU 与预留算力之间需要权衡的核心问题。较低的小时单价可以延长初创公司的资金使用周期,但前提是应用仍然能够持续完成有价值的工作。如果训练任务反复重启、无法及时获得替代 GPU,或者客户请求被中断,那么原本节省的费用可能很快就会被这些问题抵消。

DigitalOcean 值得关注的一点是,它公布了 H100 的长期承诺价格,为需要持续运行推理服务的团队提供了一个明确的成本参考。Spot 则值得考虑,因为一些灵活的工作负载能够容忍中断,也可以利用闲置算力。无论选择哪种方案,都不应该仅凭一个预期折扣,或者某家云厂商整体的可靠性百分比来做决定。

首先要问自己一个问题:这项工作负载最多可以中断多久,才会让中断造成的成本超过节省的计算费用?

答案将决定你应该关注哪些价格、需要哪些故障恢复机制,以及应该承诺购买多少算力。

从可控的成本开始

如果连续运行一块 DigitalOcean H100 GPU 744 小时,也就是一个 31 天的月份,按照目前公布的每 GPU 小时 4.41 美元的按需价格计算,费用为 3,281.04 美元。

DigitalOcean 公布的 12 个月预留价格为每 GPU 小时 3.26 美元,连续运行 744 小时的费用为 2,425.44 美元。也就是说,在不考虑存储、网络、故障恢复和其他费用之前,就能节省 855.60 美元。

较低的小时单价可以延长初创公司的资金使用周期,但前提是应用仍然能够持续完成有价值的工作。如果训练任务反复重启、无法及时获得替代 GPU,或者客户请求被中断,那么节省下来的费用可能很快就会被抵消。

决策原则其实很简单: 当需求还不确定时,使用按需算力;当推理服务对延迟有严格要求,而且基础使用量稳定、足以支撑长期承诺时,可以考虑预留算力;对于支持检查点保存的训练任务、批处理任务和模型评估,可以考虑使用 Spot 实例,因为这些任务能够容忍中断。对于混合型工作负载,可以为面向客户的核心服务保留稳定算力,再使用 Spot Worker 处理可以中断的任务。

工作负载情况 初步采购建议
需求仍不确定 先使用按需算力,同时测量实际资源利用率和客户需求。
对延迟敏感、需求稳定的推理服务 根据下文介绍的 H100 73.9% 盈亏平衡规则比较计费时长;只有在承诺期限和算力保障条款都合适时,才考虑预留。
支持检查点保存的训练、批量推理、Embedding 生成或模型评估 如果任务截止时间允许中断,并且任务队列能够安全地重试,可以使用 Spot。
H100 算力分配时间超过承诺周期的约 74% 在配置和计费条款相同的前提下,每 GPU 小时 3.26 美元的预留价格比 4.41 美元的按需价格更划算。
生产服务与灵活任务混合运行 为核心工作负载预留算力,或通过其他方式确保其稳定运行;将可以延后处理的任务交给 Spot。

关键问题仍然是:这项工作负载最多可以中断多久,才会让中断造成的成本超过节省的计算费用?

不同采购方式意味着什么

按需实例提供灵活的计费方式,无需长期承诺(当然,实际使用仍取决于可用算力)。Spot 实例则以较低价格换取可能被回收的风险。预留价格代表一项资金承诺;而算力预留则意味着获得特定算力的使用权限,或者获得一个按计划安排的计算时段。这两类条款并不能互换。

AWS亚马逊 Savings Plans 并不预留算力。Azure微软云 Reserved VM Instances 可以提供计费折扣,但不会预留计算资源。Google Cloud 基于资源的 GPU 承诺通常需要关联算力预留,但也存在因具体产品而异的例外情况。DigitalOcean 则通过销售团队提供为期 12 个月的 GPU 预留方案。

在将一项长期承诺视为有保障的算力之前,务必先检查合同,确认其中关于算力保障、计费依据,以及预付款或周期性付款方式的具体条款。

中断成本:提前通知固然有用,真正重要的是恢复成本

对于一个批处理 Worker 来说,如果没有持久化机制,丢失 15 分钟的计算进度就可能造成不小的损失。

对于推理 Worker,即使没有丢失任何已存储的数据,中断的代价也可能更高。恢复算力、重新下载模型、预热计算内核并完成健康检查,可能需要 20 分钟的冷启动时间。这段时间甚至超过了丢失 15 分钟 GPU 计算所造成的损失,而且还可能导致以秒为单位计算的请求时限无法满足。

中断风险主要取决于三个因素:算力被回收的频率、你能提前多久收到通知,以及恢复正常工作的速度。

DigitalOcean 公布的 Spot 政策目标是至少提前两小时通知用户,但在紧急情况下,通知时间可能更短,甚至不会提前通知。如果收到通知,运营团队就有时间阻止新任务启动,并逐步排空正在运行的任务。但这并不意味着每次中断都能平稳完成。

云厂商 公布的中断处理机制 对工作负载规划的影响
DigitalOcean Spot GPU Droplets 目标是至少提前两小时通知;紧急情况下可能缩短通知时间,甚至不提供通知。 利用通知时间停止分配新任务,并保存检查点或排空正在执行的任务;同时保留应对突然失去算力的恢复方案。
AWS EC2 Spot 通常会在实例终止或停止前两分钟发出中断通知,但通知采用尽力而为的方式提供。 定期保存检查点,并自动化停止新任务分配和排空现有任务的流程。
谷歌云服务 Spot 默认尽力而为的关闭通知最长为 30 秒;文档也介绍了可配置的 120 秒通知机制。 确认部署环境中的通知配置和关闭行为。
Azure微软云 Spot VMs 可能通过尽力而为的 Scheduled Events 通知,在实例被回收前最多提前 30 秒发出通知。 将检查点和持久化状态保存在 Worker 之外,以便替代实例能够恢复任务。

与 AWS 的两分钟通知、Azure 的 30 秒通知,以及 Google Cloud 默认的 30 秒通知(可配置为 120 秒)相比,DigitalOcean 目标提供的两小时通知时间,能够让运营团队有更充足的准备时间。

DigitalOcean 通过电子邮件发送通知,因此需要将通知与实际运维响应流程关联起来。提前很长时间收到通知,只有在有人采取行动时才真正有用。需要注意的是,通知时间并不能决定算力被中断的频率,也无法保证一定能获得替代算力。

AWS Spot Instance Advisor 会报告近期的中断频率区间,但这些区间并不能预测某个具体的 H100 任务能否顺利完成。Google 提供历史抢占信息;Azure 提供价格和驱逐相关信息;DigitalOcean 的算力页面则展示近期可用的库存,而不是中断频率。

在试点阶段,建议测量以下指标:每 1,000 实例小时发生的中断次数、等待替代算力的时间、恢复时间、需要重新计算的工作量、错过的任务截止时间,以及故障是否会集中发生。

例如,四个 Worker 同时丢失,与一个月内先后发生四次独立中断,是完全不同的运维问题。

DigitalOcean GPU 定价:比较当前价格与长期承诺价格

以下 DigitalOcean Spot 价格于 2026 年 10 月 15 日根据公开的 定价页面进行核对,或直接咨询 DigitalOcean 中国区战略合作伙伴卓普云(aidroplet.com),获取最新价格与折扣信息。月度费用按照 744 小时(31 天)计算,仅包含计算费用。Spot 价格可能发生变化,购买时请再次确认所选配置及其价格。公开定价页面目前没有列出 H100 或 L40S 的 Spot 价格。

GPU 按需价格 12 个月预留价格 Spot 价格 已公布价格说明
H100,每块 GPU $4.41/小时 $3.26/小时 未公布 预留价格比按需价格低 26.1%。
L40S,一块 GPU $1.57/小时 未核实到公开价格 未公布 使用已公布的按需价格,不要虚构 Spot 价格进行比较。
MI350X,每块 GPU 未公布公开自助购买价格 $4.76/小时 $3.50/小时 Spot 价格比公布的预留价格低 26.5%。
B300,每块 GPU 未公布公开自助购买价格 $7.94/小时 $6.17/小时 Spot 价格每小时低 1.77 美元,降幅为 22.3%。

目前 B300 的挂牌价格显示,Spot 价格低于预留价格。但 Spot 并不总是比所有预留实例方案便宜,因此需要检查具体配置是否可用、当前价格以及所需的承诺期限。

这里的价格比较均以单块 GPU 为单位,并不代表不同 GPU 具有相同的吞吐量,也不意味着完整服务器配置完全相同。

对于配置相同、每月运行 744 小时的情况,一块 H100 按需使用的费用为 3,281.04 美元,按照预留小时价格计算则为 2,425.44 美元。需要注意的是,预留价格要求签订 12 个月的合同,因此这里计算的月度费用只是等效月成本,并不是可以按月购买的方案。

DigitalOcean GPU Droplets云服务器 页面列出了支持的配置和硬件规格。在将不同 GPU 型号或系统配置视为可互换方案之前,请先比较这些具体信息。

H100 的 74% 盈亏平衡规则

当初创公司在承诺周期的大部分时间内都需要稳定的算力时,预留容量在财务上可能更划算。这里真正需要比较的是计费的算力分配时长,而不是 GPU 的实际利用率:即使某个推理端点几乎没有收到请求,只要它必须保持可用,就可能持续产生费用。

盈亏平衡使用比例 = 预留小时价格 ÷ 按需小时价格

以 DigitalOcean H100 为例:

3.26÷3.26 ÷ 3.26÷4.41 = 0.739,即 73.9%。

可以将其作为一个简单的参考规则:在配置相同、价格不变,并且故障恢复成本及其他额外费用没有差异的前提下,如果你需要分配(并付费使用)这块 GPU 的时间超过整个周期的约 74%,那么预留价格通常更便宜。

约 74% 的规则适用于整个 12 个月的承诺周期,而不只是业务最繁忙的月份。

还需要注意,这里衡量的是算力被分配、也就是需要付费的时间,而不是 GPU 实际执行计算的时间。一块 GPU 即使一直在线但处于空闲状态,也仍然属于已分配的算力。

假设某项工作负载在一个 730 小时的规划月份中,只需要运行 400 小时:

  • 按需使用:400 × 4.41=4.41 = 4.41=1,764.00。
  • 预留承诺:730 × 3.26=3.26 = 3.26=2,379.80。

由于你的初创公司这个月只需要支付 400 小时的算力费用,因此使用按需方案可以节省 615.80 美元;而预留承诺需要覆盖整个月的费用。

DigitalOcean 的 GPU Droplets云服务器 即使在关机状态下也会继续计费。如果想停止计费,需要销毁 Droplet。销毁之后,该实例也就被终止了。下次需要使用 GPU 时,你必须重新创建算力,并在启动新的 GPU Droplet 后恢复工作负载。

实际案例:训练和推理服务的成本逻辑并不相同

使用检查点保存的 L40S 训练任务

假设有一个训练任务,需要 100 个有效的 L40S GPU 计算小时。DigitalOcean 公布的 L40S 按需价格为每小时 1.57 美元。

为了进行比较,我们假设另一家供应商提供的 Spot 价格为每小时 0.50 美元。请注意,这只是一个用于说明的假设价格,并非 DigitalOcean 的 Spot 价格,也不是任何云厂商提供的正式报价。

如果不考虑检查点保存带来的额外开销,按需计算的基准费用为:

100 × 1.57=1.57 = 1.57=157.00。

假设每进行 30 分钟有效计算,就需要暂停 1 分钟来保存检查点。那么,完成 100 小时的有效计算将额外增加约 3.33 小时的计费时间。此时,包含检查点开销的按需计算基准费用为:

(100 + 3.33) × 1.57=1.57 = 1.57=162.23。

现在假设发生了五次中断,每次平均损失 15 分钟的计算时间,并且每次中断后都需要 10 分钟来启动和恢复任务。按照前面假设的 Spot 价格,费用计算如下:

(100 小时有效计算 + 3.33 小时检查点保存 + 1.25 小时重新计算 + 0.83 小时恢复) × 0.50=0.50 = 0.50=52.71。

与包含检查点开销的按需计算基准费用 162.23 美元相比,在不考虑存储、数据传输和工程投入之前,这一方案的成本约低 67.5%。

这个例子只是一个计算模型,并不代表实际报价或确定的节省金额:假设的每小时 0.50 美元价格在很大程度上决定了最终结果。它说明了为什么计算公式中必须考虑检查点保存和故障恢复成本,而不是意味着初创公司可以期待 67.5% 的折扣。要实现 90% 的成本节省,需要非常大的价格折扣,同时额外开销还必须很低;仅靠检查点保存并不能创造这样的折扣。

每 30 分钟保存一次检查点,可以限制中断时丢失的未保存有效计算进度,前提是检查点成功保存并且始终可以访问。但这并不能限制服务中断的持续时间。等待算力、启动、恢复和重新计算所需的时间,都会增加任务完成的总延迟。

即使等待另一块 GPU 花费了一个小时,也意味着任务延迟了一个小时。需要将不计费的算力等待时间与计费的初始化和恢复时间分开:两者都会延迟任务完成,但只有后者应计入 GPU 运行费用。

使用 Spot Worker 提供 H100 推理服务

再来看另一个例子。我们将比较每小时 3.26 美元的稳定 H100 基础算力,以及估算为每小时 2.60 美元的 Spot 价格。

这里的 2.60 美元是一个经过取整的示例价格,并非 DigitalOcean H100 Spot 价格。DigitalOcean 当前公开的 Spot 目录中并未列出 H100。

在 744 小时的运行周期内,稳定的基础算力费用为:

744 × 3.26=3.26 = 3.26=2,425.44。

假设的 Spot Worker 费用为:

744 × 2.60=2.60 = 2.60=1,934.40。

在不考虑任何额外成本的情况下,最多可以节省 491.04 美元。

但如果为了保护 Spot Worker,需要额外增加一个始终在线的备用副本,并且该副本同样按照每小时 3.26 美元计费,那么额外成本将达到 2,425.44 美元。如果备用副本的唯一用途就是保护 Spot Worker,那么这笔费用就足以抵消原本节省的成本。

如果你已经有闲置算力,情况就会有所不同。当一支可靠的 GPU 集群拥有足够的冗余容量,能够接管丢失的 Worker 时,Spot 就可以以较低的边际成本增加吞吐量。

但如果一家刚起步的初创公司需要等待 20 分钟才能获得替代算力,而客户请求可能在几秒钟内就超时,那么冷启动备用方案就无法保证满足服务目标。

对于推理服务,不要只比较 GPU 小时价格,而应该比较在满足延迟和质量要求的前提下,每个成功请求的实际成本。需要跟踪首 Token 延迟、p95 和 p99 延迟、错误率,以及 Worker 丢失后的恢复表现。

Spot 成本计算中容易忽略的费用

  • 第一项是故障恢复工程成本。 Worker 应当能够保存当前进度、将未完成的任务重新放回队列、安全地重试,并对输出进行去重。需要将 Spot 架构所需的额外开发和运维投入纳入成本计算。一次性实施成本可以按照明确的评估周期进行分摊,同时将工程投入与直接现金支出分开核算。
  • 第二项是数据迁移成本。 任务恢复可能需要在不同云平台或区域之间传输数据集、检查点、容器镜像和结果文件。计算成本时,应包含数据传输费用,以及准备每个替代 Worker 所需的时间。
  • 第三项是持久化存储成本。 即使没有 GPU 正在执行有效计算,检查点和持久化磁盘仍然会持续产生费用。需要将故障恢复所需的额外存储卷、请求费用和数据保留成本纳入计算。
  • 第四项是备用算力成本。 对于延迟和可用性目标严格的应用,当 Spot Worker 消失时,可能需要有稳定的资源随时接管任务。需要将这种架构所需的额外算力纳入成本,并测试故障切换能否满足服务目标。
  • 最后,还要考虑延迟带来的影响。 一项通宵运行的实验晚两个小时完成,或许可以接受;但错过客户要求的交付时间,后果可能完全不同。评估这些风险时,应将它们与成本计算结合起来。只有在业务有实际数据支持的情况下,才应该为这些风险赋予具体的货币价值。

可以使用以下公式,让成本比较更加客观:

Spot 计算费用 = Spot 小时价格(示例价格或实际报价)×(有效 GPU 计算小时 + 检查点保存 GPU 小时 + 重新计算 GPU 小时 + 计费的故障恢复 GPU 小时)。

Spot 净节省金额 = 基准方案总成本 −(Spot 计算费用 + 存储与数据传输费用 + 故障恢复工程与运维费用 + 备用算力费用)。

比较两种方案时,必须采用相同的成本核算范围。对于两种方案都需要承担的共享存储和运维成本,要么在两边都计入,要么在两边都扣除;只计算额外增加的备用算力和工程成本。

在做出采购承诺前,先完成一次试点检查

检查项目 需要测量或保留的信息 为什么重要
工作负载可比性 在不同配置之间保持模型、精度、上下文长度、并发量和质量要求一致。 确保成本和性能比较有意义。
故障恢复表现 在真实负载下移除一个 Worker,记录通知时间、等待替代算力的时间、启动和恢复时间、延迟、重试次数、重新计算量,以及错过的截止时间。 了解中断带来的实际成本和服务影响。
每个有效结果的成本 记录成功吞吐量、计费运行时间、检查点开销、存储、数据传输、备用算力,以及每个成功任务或请求的成本。 避免将较低的小时单价误认为较低的结果成本。
定价依据 保存 SKU、GPU 数量、区域、操作系统、采购方式、价格、报价单或定价页面截图,以及记录日期。区分公开标价、协商报价和优惠额度。 确保成本计算可以追溯和重复验证。
故障与需求压力测试 分别按照预期需求减半、实测恢复时间翻倍,以及备用算力占比提高的情况重新计算。在接近生产环境的并发量下测试故障切换。 确认商业成本模型在更不利的条件下是否仍然成立。
支出控制与续约 设置备用算力集群的规模上限和预算提醒;在续约前,或模型、需求、区域发生变化时,重新评估工作负载和价格。 控制故障恢复成本,避免过时的长期承诺在未经评估的情况下自动延续。

DigitalOcean 有哪些值得关注的优势

当需求尚不明确时,可以先使用按需实例。等到测得的计费利用率超过 H100 约 74% 的盈亏平衡点,并且承诺条款符合需求后,再预留稳定的基础算力。同时,应当将应用设计为能够使用 Spot 实例处理那些可以暂停、保存检查点并重新尝试的任务。

在这个场景下,DigitalOcean 最大的运维差异化优势,是其目标为 Spot 中断提供至少两小时的提前通知。提前了解 GPU 价格,也有助于建立更清晰的预算模型。Droplet 创建后,其整个生命周期内锁定的 Spot 价格,可以减少该实例存续期间的价格不确定性。不过,重新创建替代实例时,价格可能有所不同,而且提前通知的目标并不排除算力突然被回收的可能。

在 DigitalOcean 上,一种可行的架构是:使用预留的 H100 作为稳定的推理算力基础,再通过 Spot Worker 处理排队等待的训练任务、Embedding 生成或模型评估任务。

需要注意的是,在本文核对的公开目录中,H100 和 L40S 均未被列为支持 Spot 的 GPU;MI350X 和 B300 可以作为适合特定工作负载的替代选择,但不能直接视为可以无缝替换的同等配置。从 NVIDIA GPU 转向 AMD GPU,也需要验证软件栈兼容性和实际性能。

建议先在 GPU Droplets 上运行具有代表性的工作负载,测量算力计费分配时间和每个成功结果的成本,并完成前面介绍的中断试点测试。

如果稳定基础算力的使用率超过盈亏平衡阈值,可以将测得的 GPU 数量、区域和未来 12 个月的需求预测提供给 DigitalOcean 销售团队,为基础算力申请预留方案。只有在经过测试的故障恢复机制能够保障任务截止时间,并且整体成本确实有所节省时,才应增加 Spot 算力。

真正优秀的 GPU 采购策略,不是单纯追求最低价格,而是在可靠完成所需工作的同时,为公司留下足够的现金和工程资源,以支持业务持续增长。

总结

Spot GPU 可以显著降低灵活型训练任务和批量推理的成本。而对于稳定运行的生产工作负载,在将利用率、故障恢复和服务要求都纳入考量后,预留算力或其他可靠的算力方案可能更经济。任何一种采购模式,都不会仅凭名称就自动成为更好的选择。

DigitalOcean 提供了一个明确的 H100 长期承诺价格基准。Azure 在所选区域提供了折扣幅度较大的 H100 NVL Spot 计费方案。Google Cloud 公布的 H100 Spot 折扣则低于其宣传的最高折扣幅度。AWS Capacity Blocks 属于另一种按计划安排的算力方案,不应该被误称为一年期预留实例。

对于希望延长资金使用周期的初创公司来说,一个实用的起点是:先建立经过测量的稳定算力基础,再为那些可以延后执行的任务配置灵活算力。谨慎做出长期承诺,可靠地保存检查点,测试中断后的恢复能力,并将整个部署的成本纳入核算。

真正优秀的 GPU 采购策略,是在可靠完成所需工作的同时,为公司留下足够的现金和工程资源,以支持业务持续增长。

相关推荐
jerrywus3 小时前
你还在手动seo? 那你可以试试claude-seo skill
agent·claude·seo
Sailing3 小时前
🚀🚀【封闭结束7】Agent 为什么总是“失忆”?从长期记忆到上下文工程的生产实践
前端·人工智能·agent
LK_073 小时前
【Agent】工具调用的安全边界:从模型输出到程序执行
人工智能·笔记·python·agent
七牛开发者4 小时前
AI Agent 的安全风险,正在从 Prompt 扩展到运行环境
ai·agent·security·权限管理·cursor
mumu1574 小时前
快速上手大模型推理vllm
人工智能·python·大语言模型·agent·vllm
学IT的周星星4 小时前
本地部署与开源模型:不想花钱怎么办
人工智能·开源·大模型·llm·agent
king王一帅4 小时前
QuireKit 编辑器的 AI-Native 是如何设计的?谈谈我对真正 AI-Native 的理解
前端·开源·agent
hpoenixf4 小时前
Agent 问完用户之后:持久人机交互如何接回原研究
agent
hpoenixf12 小时前
一个 null 如何让 Agent 工具调用失败:流式协议兼容性实战
agent