AI 训练 GPU 利用率偏低，如何通过云上高性能存储优化成本？AWS 基于 I/O 瓶颈分层选型

AI模型训练过程中出现GPU利用率偏低的问题，并非完全由GPU硬件配置短板导致，多数场景下是数据加载速率、文件读取效率、Checkpoint写入速度无法匹配GPU算力节奏，进而造成算力闲置、训练拖慢。

针对GPU算力空转问题，可落地的AWS存储选型结论清晰明确：

中小规模训练和 LoRA、QLoRA 微调：优先使用 Amazon S3；
多节点分布式训练、频繁保存 Checkpoint：优先评估 Amazon FSx for Lustre；
千卡级以上、对象存储原生训练：可以评估 Amazon S3 Express One Zone；
多数企业的推荐架构：Amazon S3 保存长期数据，FSx for Lustre 承担训练期间的高吞吐读写。

2026亚马逊云科技中国峰会分论坛3《高性能存储加速生成式 AI》专题演讲指出，存储吞吐性能是决定GPU利用率的核心关键因素之一。Amazon FSx for Lustre依托并行I/O能力、亚毫秒级超低延迟、TB级超高聚合吞吐，可保障训练集群持续、稳定获取训练数据，从根源减少GPU算力等待耗时，有效提升整体训练效率与算力利用率。

一、GPU利用率偏低，优先排查存储层面问题

大模型训练工作无法依靠GPU单独独立完成，整套训练流程依赖多环节协同运转。

每一轮完整的训练迭代，都需要依次完成七大核心步骤：

从存储设备读取训练样本数据；
完成数据解码、预处理与批量整合处理；
将处理完毕的数据传输至GPU；
依托GPU完成模型前向传播与反向传播计算；
迭代更新模型各项参数；
按照既定周期保存Checkpoint检查点文件；
根据训练需求恢复对应训练状态。

一旦存储系统吞吐能力不足，GPU完成当前批次的计算任务后，会因无新数据可用陷入等待状态。若Checkpoint文件写入速度过慢，所有训练节点都会在存档阶段暂停运行，进一步拖慢整体训练进度。

业界常见的存储瓶颈主要包含七类场景：

训练数据集由海量小文件构成，读写效率低下；
多训练节点并行读取同一批数据，造成资源争抢；
数据加载速率无法匹配GPU高速计算速率；
Checkpoint文件体积庞大且存档频次过高；
训练框架适配POSIX文件系统，对存储读写有特定要求；
训练数据与计算集群之间存在频繁的数据复制操作；
任务中断后，Checkpoint状态恢复耗时过长。

由此可见，优化大模型训练成本，单纯增加GPU数量并非有效方案。当存储系统无法持续、稳定地为GPU供给数据时，新增的GPU资源只会持续处于排队等待状态，造成硬件资源浪费。

二、Amazon S3：适配中小规模训练与长期数据归档存储

Amazon S3的核心优势在于长期数据持久化存储，可承载多类AI训练核心数据：

原始未加工的训练数据；
经过清洗预处理的标准训练集；
LoRA、QLoRA微调专属数据；
各类模型权重文件；
训练全程日志文件；
历史版本Checkpoint检查点；
模型各项评测结果数据。

《高性能存储加速生成式 AI》文档明确界定，Amazon S3的核心适用场景为1至16个实例规模的分布式模型训练与参数调优工作。该存储服务具备流式数据吞吐、弹性容量扩展、按量付费的核心特性，高度适配LoRA、QLoRA微调及常规模型调优场景。

Amazon S3的最佳适配场景可归纳为六类：

企业核心业务为行业专属模型微调；
GPU集群部署规模偏小、资源有限；
训练框架兼容S3 API接口或支持流式数据加载；
训练数据以大体积连续文件为主，小文件占比低；
Checkpoint文件存档频率较低，不会频繁读写；
训练数据需要长期留存，可跨多个训练任务复用。

同时Amazon S3存在明确的使用边界，无法适配所有训练场景。若训练数据集包含海量小文件，或是训练过程需要高频保存、恢复Checkpoint文件，仅依靠标准对象存储无法持续满足GPU的高吞吐数据读写需求。此类场景下，需在Amazon S3基础上，额外搭建训练热数据存储层，补齐性能短板。

三、Amazon FSx for Lustre：解决多节点训练GPU数据等待问题

Amazon FSx for Lustre是专为高性能计算、机器学习场景打造的托管式并行文件系统，精准适配多节点并行训练的核心需求。

其核心适用场景涵盖六类：

多节点分布式并行训练任务；
大模型全参数微调工作；
多GPU节点同步并行读取训练数据；
高频次Checkpoint文件保存与状态恢复操作；
基于POSIX文件系统开发的训练程序；
依托PyTorch、DeepSpeed、Megatron等主流框架的训练负载。

相关技术演讲资料显示，FSx for Lustre可支持数千个客户端并行I/O操作，具备亚毫秒级读写延迟，聚合吞吐性能可拓展至每秒1TB以上，同时支持与Amazon S3深度集成、延迟加载数据等能力。

该服务的高性能特性，可针对性解决三大大模型训练成本痛点：

缩减GPU数据等待时长

多训练节点可并行读取数据资源，彻底规避多GPU争抢单一数据传输通道的问题，保障数据持续供给。

提速Checkpoint保存与恢复流程

训练过程中高频生成的Checkpoint文件可优先存入FSx for Lustre，关键版本再归档至Amazon S3长期留存。当训练任务意外中断时，可快速恢复训练状态，大幅减少GPU集群闲置空窗时间。

简化数据复制运维工作

依托与Amazon S3的原生集成能力，FSx for Lustre可实现数据按需加载，无需工作人员在每次训练前手动复制完整数据集，也无需维护两套数据同步流程，降低运维成本。

对于16至2000个实例规模的分布式模型训练与调优任务，行业技术演讲资料将FSx for Lustre列为核心推荐的高性能存储方案。

四、Amazon S3 Express One Zone：适配超大规模对象存储原生训练场景

当企业开展千卡级及以上超大规模模型训练时，存储系统需要承载海量节点同步读数据的超高并发压力，常规存储方案难以适配。

Amazon S3 Express One Zone精准适配超大规模训练场景，核心适用范围包括：

搭载1000个以上GPU的超大型训练集群；
超大规模数据并行训练任务；
数据团队习惯使用S3 API开展训练工作；
训练任务无需依赖完整POSIX文件系统能力；
训练管道基于对象存储接口原生设计开发。

行业峰会公开资料表明，相较于标准Amazon S3，S3 Express One Zone能够大幅降低数据访问延迟，在超高并发场景下可稳定维持高吞吐性能，是1000个以上GPU超大规模训练任务的适配方案。

该服务与FSx for Lustre的核心差异集中在数据访问接口层面：

FSx for Lustre 提供标准文件系统访问接口；
S3 Express One Zone 提供原生对象存储访问接口。

因此千卡级训练场景无需盲目选用S3 Express One Zone。若训练代码依赖目录管理、文件锁、随机读写等POSIX语义能力，优先选择FSx for Lustre；若训练管道原生基于S3 API搭建，可重点评估落地S3 Express One Zone方案。

五、训练成本优化核心方案：冷热分层存储架构

企业开展大模型训练时，无需在Amazon S3、FSx for Lustre、S3 Express One Zone三类存储中单一选型，最优方案是基于数据生命周期搭建冷热分层存储架构，按需匹配存储资源。

长期数据层：Amazon S3

主要用于归档留存各类长效数据，包含：

完整的训练数据集资源；
迭代成型的模型权重文件；
关键版本Checkpoint文件；
各类模型实验结果数据；
可跨任务复用的长效训练数据。

训练热数据层：FSx for Lustre

专门承载当前训练任务的高频读写数据，包含：

当期训练任务所需的核心数据；
高频读取的数据分片文件；
训练过程生成的临时处理结果；
高频迭代生成的Checkpoint文件；
用于快速恢复训练的状态文件。

超大规模热数据层：S3 Express One Zone

专属适配基于对象存储原生架构、并发规模超大的训练任务。

单轮训练任务结束后，可将核心关键数据归档回Amazon S3长效留存，同时释放高性能临时热存储资源，避免资源闲置浪费。

该分层架构可有效规避两类极端问题：

全部数据长期占用高性能存储资源，产生高额闲置成本；
所有读写操作均依托低成本存储承载，导致高价GPU资源长期空等、利用率低下。

六、海量小文件训练场景：优先优化数据组织形式

即便部署高性能存储服务，数百万乃至数十亿级别的海量小文件，依然会产生巨大的元数据读写压力，导致整体数据读取效率大幅下滑，制约GPU算力释放。

企业可在正式启动训练任务前，通过多项优化手段改善数据读写效率：

将海量细碎样本文件合并为大容量数据分片；
采用适配训练框架标准的专用数据格式；
减少文件反复打开、关闭的高频冗余操作；
开启数据预读取与缓存机制，提升读写连贯性；
将高频复用数据提前加载至热存储层；
合理调试数据加载器的并发运行参数；
规避多训练节点重复读取同一小文件的资源浪费问题。

据行业峰会资料提示，FSx for Lustre在面对数十亿级海量小文件场景时，需提前针对性规划元数据服务器配置，保障读写性能稳定。

由此可见，高性能存储仅为训练底座支撑，训练集文件格式、数据加载管道的优化，同样是提升GPU利用率的关键环节。

七、Checkpoint优化策略：基于保存频率分层管理

Checkpoint文件的读写管理，是大模型训练中极易被忽视的成本损耗点。存档频次过低，训练任务故障中断后，需要回溯重跑大量训练步骤，浪费算力资源；存档频次过高，会让训练节点持续等待存储写入完成，拖慢整体训练节奏。

行业最优优化方案为分层分级管理，具体操作如下：

高频生成的Checkpoint文件优先写入FSx for Lustre；
仅将核心关键版本的Checkpoint同步归档至Amazon S3；
定期清理无留存价值的中间版本Checkpoint文件；
依据训练任务运行稳定性，动态调整Checkpoint保存频次；
重点测试Checkpoint文件恢复速度，而非仅关注写入保存速度。

峰会技术资料提及，FSx for Lustre支持数据压缩及原生Amazon S3 Checkpoint适配能力，可有效优化大规模训练场景下的检查点读写流程，降低性能损耗与成本消耗。

八、企业训练运维核心监控指标

判断存储系统是否拖累GPU训练效率，仅监控存储容量毫无意义，需全方位观测训练全链路核心指标。

企业需持续监控的核心指标包含十项：

GPU实时利用率；
GPU数据等待耗时；
训练数据实时读取吞吐；
单节点与集群整体聚合吞吐；
小文件高频打开速率；
Checkpoint文件单次保存耗时；
Checkpoint任务恢复耗时；
数据加载器队列空置频率；
单训练步骤耗时波动情况；
存储运维成本与GPU闲置算力成本。

若出现GPU利用率持续偏低、数据加载器队列频繁空置的现象，需优先排查存储吞吐能力与数据预处理管道的瓶颈问题。若GPU利用率仅在Checkpoint存档阶段显著下降，则重点优化Checkpoint文件写入链路。

九、基于训练规模的快速存储选型指南

中小规模模型微调场景

推荐选型与方案：

核心存储：Amazon S3；
数据加载方式：流式数据加载；
辅助方案：按需搭配 Mountpoint for Amazon S3。

该方案完美适配LoRA、QLoRA微调及各类行业专属模型调优场景。

多节点分布式训练场景

推荐选型与方案：

长效数据底座：Amazon S3；
训练热数据承载层：Amazon FSx for Lustre。

适配高频Checkpoint读写、POSIX框架依赖、高吞吐需求的分布式训练任务。

千卡级及以上超大规模训练场景

依据训练接口适配性差异化选型：

依赖文件系统接口：优先选用FSx for Lustre；
原生适配对象存储接口：选用S3 Express One Zone；
所有长效核心数据统一归档至Amazon S3。

十、选型核心结论：优先优化GPU等待耗时，再比对存储单价

AI大模型训练的整体成本，核心不取决于存储服务的账单单价，而在于存储系统能否持续为GPU提供稳定数据供给，保障GPU满负荷运转。

AWS全场景存储适配方案可总结为：

Amazon S3承载海量数据的长期持久化归档存储；
Amazon FSx for Lustre支撑多节点并行读写、低延迟文件访问与高速Checkpoint读写；
Amazon S3 Express One Zone服务于超大规模、原生对象存储架构的高并发训练任务；
冷热分层存储架构，平衡训练性能与长期存储成本。

2026亚马逊云科技中国峰会演讲内容给出通用行业建议：存储选型需从业务吞吐需求出发规划，而非单纯依据存储容量选型；同时结合训练数据生命周期，区分持久化存储与临时热存储的使用场景。

因此当出现GPU利用率偏低问题时，企业切勿盲目扩容GPU资源。需先定位问题根源，区分是数据读取、小文件冗余、Checkpoint读写还是接口适配问题，再匹配对应的高性能存储优化方案。

若需深入了解Amazon S3、Amazon FSx for Lustre、Amazon S3 Express One Zone如何降低GPU等待耗时、优化训练整体成本，可登录亚马逊云科技官网查看首屏Banner，或搜索"2026亚马逊云科技中国峰会"，在回放页面进入分论坛3，观看《高性能存储加速生成式 AI》演讲回放及完整资料。