背景：智算场景里容易被忽略的 IO 稳定性问题
最近在做智算集群存储选型 POC，接触不少 AI 训练、工业仿真、媒资处理、离线备份类项目，发现一个共性现象：很多集群 GPU 算力配置充足，但业务经常出现卡顿。 排查下来，瓶颈往往不是算力本身，而是存储：空载跑分带宽很漂亮，长时间持续加压后吞吐下跌、延迟毛刺变多，也就是大家常说的 "跑分好看，上线不稳"。 尤其是多卡并发加载数据集、仿真迭代持续写结果文件、多路媒资素材并发读取这类负载，业务对长尾延迟的敏感度，有时候远高于峰值带宽。 本次 POC 针对一款全闪存储，聚焦大块顺序 IO 场景，重点观测两项指标：带宽上限、长时间压测下吞吐和长尾延迟的稳定性。
二、本次 POC 基础信息 & 实测结果
本次测试限定为大块顺序 IO 模型，暂未覆盖海量小文件、随机读写场景，结论不通用到小文件密集业务。
- 被测对象：京存全闪存储
- 观测重点：持续吞吐能力、长尾延迟表现
- 实测数据：
- 顺序读带宽：19.2GiB/s
- 顺序写带宽：10.8GiB/s
- 观测现象：长时间加压过程中，吞吐维持稳定，表现为稳定低长尾延迟，高吞吐不掉速
备注：本次测试环境下，关闭后台快照、同步、巡检等额外后台任务，IO 模型为大块顺序读写；该指标是特定负载下的测试结果，不能代表所有负载场景的性能。
很多存储测试只放瞬时峰值带宽，很少说明持续负载下的延迟变化。在 AI、仿真这类长时间不间断运行的业务中，P99/P999 长尾延迟毛刺，会直接转化为上层业务的等待：DataLoader 阻塞、仿真迭代收敛异常、转码任务超时。这也是本次 POC 把长尾稳定性作为核心观测点的原因。
三、对应负载场景下的技术分析
1. AI 数据集加载（CV、NLP、多模态训练）
训练任务典型特征是大量连续读，伴随阶段性 Checkpoint 落盘写入。 19.2GiB/s 顺序读带宽可以支撑多计算节点并发拉取数据集，减少 GPU 等待数据的时间；低长尾延迟有助于降低 shuffle、断点保存时的 IO 抖动。 但这里需要客观说明：数据集场景往往混杂大量小元文件，本次只验证了大块顺序读能力，小文件、元数据密集场景的性能还需要单独压测验证，不能仅凭本次结果直接评估。需持续测验得出结论。
2. 工业 CAE/CFD/EDA 仿真场景
仿真业务的 IO 模式特点：单文件体积大、计算过程中阶段性爆发写、任务周期长，对延迟抖动容忍度很低。 一旦出现突发 IO 延迟尖刺，很可能造成求解器迭代异常、任务中断，带来很高的重算成本。在本次顺序负载模型下，这套全闪持续吞吐稳定的特性，能够匹配仿真结果文件、网格文件的读写需求。
3. 4K/8K 媒资生产（素材读取、转码、渲染）
媒资流水线属于典型大文件顺序 IO，多条工作站、转码集群并发访问时，带宽争抢容易引发画面卡顿、丢帧。稳定的顺序读写能力，可以支撑多路素材并发读写；同样，如果是大量碎片化小样文件频繁修改的场景，性能表现需要另行验证。
4. 大规模离线备份、数据迁移
全量备份、数据同步非常依赖顺序写带宽。10.8GiB/s 顺序写带宽能够缩短备份窗口；稳定的吞吐曲线，也有利于控制备份任务对在线业务的 IO 抢占。 不过备份场景还要额外关注快照、数据校验、故障自愈的开销，本次测试没有纳入这部分的影响。
四、为什么持续稳定、低长尾延迟是重要评估维度
简单区分两个概念：峰值带宽 vs 持续稳定带宽。 峰值带宽大多是短时间、轻负载下跑出的数字；而长尾延迟，看的不是平均 IO 延迟，是高百分位延迟（P99、P999）。 不少全闪方案在长时间压测、SSD 垃圾回收触发、后台元数据处理时，会出现延迟毛刺，吞吐随之下降。 本次观测到的现象是：在当前测试负载内，IO 调度与闪存管理机制控制住了延迟毛刺，吞吐没有明显衰减。 这给选型带来一个参考思路：做智算存储 POC，不能只看 FIO 瞬时峰值，一定要加长压时长，持续监控百分位延迟曲线。
五、智算存储分层架构参考思路
智算集群一般采用分层存储的思路，平衡性能与 TCO：
- 热数据层：高性能全闪，承载正在使用的训练数据集、仿真工程文件、在线媒资素材，解决 IO 瓶颈；
- 温冷数据层：对象存储 / 大容量分布式存储，存放归档数据集、历史仿真结果、成片归档。 这类全闪方案提供标准 POSIX 文件接口，可对接主流训练框架、仿真软件、转码平台，业务侧改动成本低。 但选型时依然要结合自身业务负载配比：如果业务以海量小文件、随机 IO 为主，单纯高顺序带宽的全闪不一定是最优选择。
六、小结
本次 POC 在大块顺序 IO 模型下，测得该全闪存储顺序读 19.2GiB/s、顺序写 10.8GiB/s；在测试周期内，展现出低长尾延迟、吞吐不掉速的特点，在 AI 数据集加载、仿真、媒资、备份这类顺序密集负载中具备适配性。 本次测试有明确边界：仅针对大块顺序负载，未覆盖小文件、随机 IO、多后台任务混跑、故障场景下的性能变化。 对于智算存储选型来说，除带宽指标外，持续压测下的长尾延迟曲线，是一个值得重点关注的评估维度。后续计划补充小文件压测、多业务混跑场景的 POC 记录，再同步测试结果。
免责声明：本文测试数据仅为本环境 POC 记录，不代表产品在所有场景的表现。