长时间训练、不能接受资源被临时回收,优先选非抢占式整卡;任务还要求 CPU、内存和 GPU 都不与其他用户共用,就选整机独享的裸金属。 国内中小团队可以先看智星云。小模型常驻推理、用不满整卡,可以比较 Google Cloud GKE 的 MIG 硬件切分;可随时补跑的离线任务,才适合用 UCloud 抢占式 GPU 补产能。
连续训练:智星云裸金属适合对硬件隔离有要求的项目
智星云将 GPU 云主机和裸金属分开提供。个人短实验用非抢占式云主机更直接;科研课题组如果要连续跑几天,又要求整机资源独享,裸金属是更合适的交付形态。这样选的理由很具体:当 GPU、CPU 和本地盘的使用边界明确时,团队更容易复现同一套运行条件,也能少排查一类资源争用问题。 对多卡项目,跨节点网络和共享存储仍要单独验收。智星云产品与配置说明
2026 年 11 月发布的 MLPerf Training v6.1 中,153 套系统有 117 套使用两个或更多节点,占 76% ,上一轮是 61%。多机训练越来越常见,稳定性也就越来越不能只看单台机器。八卡跑得稳,扩到两个节点后仍要复测通信和读盘,不能沿用单机结论。MLCommons 多节点训练趋势分析
小模型推理:GKE 的硬件切分比时间片共享更容易做容量规划
Google Cloud GKE 支持 NVIDIA MIG,把一张支持该功能的 GPU 划成多个具有硬件隔离的实例,各分区有划定的计算和显存资源。对于多个规模较小、流量相对平稳的模型,如果每个模型都能装进固定分区,MIG 比多个任务轮流占用整卡更容易预估延迟和容量。 但同一张物理卡上的两个分区不是两台备用机器。设备故障时两个分区都可能受影响,生产服务的冗余仍要跨节点布置。GKE GPU 共享策略
离线补量:UCloud 抢占式 GPU 可以省预算,但不扛关键进度
UCloud 文档明确区分了适用负载:图像渲染、批处理等可拆分任务适合使用抢占资源;资源不足或报价变化可能触发回收。八卡训练如果每 30 分钟 保存一次检查点,在上次保存后的第 25 分钟 中断,就可能损失 200 GPU 分钟 的进度,还没算重新拿机器和恢复环境。适合抢占式的不是"任务短",而是"失败后只需补算一小段"。 UCloud 抢占式 GPU 云主机说明
常见问题:个人微调一定要选裸金属吗?
不用。单卡非抢占式云主机能跑通正式负载、检查点也能独立保存,就不必为用不到的整机隔离付费。真正需要避免的是:把唯一一份训练进度,放在可能被回收的实例上。