云原生存储进阶：CSI 演进与 AI 工作负载的存储架构设计

1. 引言

随着云原生技术从「容器化部署」走向「规模化生产」，存储作为有状态应用和数据密集型工作负载的基石，其重要性愈发凸显。尤其在 AI/ML 大模型训练、大数据分析等场景下，存储系统不仅要满足传统的高可用与持久化需求，更要在吞吐、延迟、容量和成本之间取得平衡。

本文围绕 CSI（Container Storage Interface）的演进脉络展开，回顾其从 gRPC 接口抽象到驱动生态的标准化历程，解读 Changed Block Tracking API 带来的增量快照与数据保护新能力，展望 SIG Storage 在智能驱动、自动分层、快照与迁移方面的 2026 规划，并探讨 AI 工作负载对存储架构的独特挑战，以及 COSI（容器对象存储接口）的标准化进展。最后，结合实战经验，给出为万卡集群设计存储方案的思路与要点。

2. CSI 标准化回顾：从 gRPC 接口抽象到驱动生态

2.1 为什么需要 CSI

在 CSI 出现之前，Kubernetes 通过内置的 in-tree 存储插件对接各类存储系统。每个存储厂商都需要将代码合入 Kubernetes 主干仓库，导致：

发布节奏受制于 Kubernetes 版本迭代；
插件代码与核心组件耦合，稳定性风险高；
存储厂商难以独立迭代和修复缺陷。

2.2 gRPC 接口抽象

CSI 将存储能力抽象为一组 gRPC 接口，分为三组服务：

Identity Service：负责驱动身份与能力声明；
Controller Service：负责卷的创建、删除、挂载、快照等控制面操作；
Node Service：负责节点侧的卷挂载与卸载。

这种接口抽象使得存储厂商只需实现一套 CSI 驱动，即可被任意支持 CSI 的容器编排系统（Kubernetes、Mesos、Nomad 等）复用。

2.3 驱动生态的繁荣

CSI 的标准化直接催生了繁荣的驱动生态。主流云厂商、开源存储项目（Ceph、Longhorn、MinIO 等）均提供了 CSI 驱动。Kubernetes 侧通过 CSIDriver 对象管理驱动的能力声明，配合 csi-provisioner、csi-attacher、csi-snapshotter 等 sidecar 容器，实现了控制面的完整闭环。

yaml 复制代码

apiVersion: storage.k8s.io/v1
kind: CSIDriver
metadata:
  name: example.csi.driver
spec:
  attachRequired: true
  podInfoOnMount: true
  volumeLifecycleModes:
    - Persistent
    - Ephemeral

3. Changed Block Tracking API Beta：增量快照与数据保护新能力

3.1 背景

传统快照多为全量快照，备份耗时长、占用空间大。对于大规模 AI 训练集群，频繁的全量快照会严重影响训练效率和存储成本。Changed Block Tracking（CBT）技术通过记录数据块的变化位图，使得增量快照和增量备份成为可能。

3.2 API 设计

CSI 社区正在推进 CBT API 进入 Beta 阶段，核心能力包括：

查询自上次快照以来的变更块列表；
支持基于变更块列表的增量快照创建；
为备份工具提供精确的增量数据源。

3.3 对数据保护的意义

CBT API 的落地将显著提升数据保护效率：

备份窗口大幅缩短；
存储空间利用率提升；
支持更频繁的恢复点目标（RPO）。

4. SIG Storage 2026 展望：智能 CSI 驱动、自动分层、快照与迁移

4.1 智能 CSI 驱动

SIG Storage 正在探索将可观测性与智能运维能力引入 CSI 驱动，例如：

基于遥测数据的健康度自检；
自动化的性能瓶颈诊断；
与 Kubernetes 事件系统联动的告警机制。

4.2 自动分层

面向混合存储介质（NVMe、SSD、HDD）与跨地域存储，自动分层能力将帮助工作负载在性能与成本之间动态平衡。CSI 驱动将能够根据卷的访问模式，自动迁移数据到合适的存储层。

4.3 快照与迁移

快照的跨集群迁移、跨云迁移是 2026 年的重点方向。结合 CBT 增量能力，迁移过程将更加高效，为灾备和多云容灾提供更优路径。

5. AI/ML 工作负载的存储挑战：高吞吐、低延迟与大容量

5.1 高吞吐

大模型训练需要持续读取海量训练数据，存储系统必须提供数十 GB/s 甚至更高的聚合读吞吐，否则数据加载将成为训练瓶颈。

5.2 低延迟

检查点（checkpoint）写入、分布式训练中的参数同步等操作对延迟敏感。存储系统需要提供稳定的低延迟写入路径，避免训练中断或性能抖动。

5.3 大容量

万卡集群的模型参数、训练数据、日志与中间结果，动辄需要 PB 级存储空间。容量规划必须兼顾扩展性与成本。

5.4 混合负载特征

AI 训练过程呈现明显的读写混合特征：训练数据以顺序读为主，检查点以突发写为主，日志与元数据则包含大量小文件随机访问。单一存储系统难以同时满足所有需求，通常需要分层设计。

6. COSI（容器对象存储接口）的标准化进展

6.1 为什么需要 COSI

对象存储（如 AWS S3、MinIO、Ceph RGW）在云原生场景中应用广泛，但 Kubernetes 原生的 PersistentVolume 抽象并不适合对象存储的 Bucket 语义。COSI（Container Object Storage Interface）应运而生，为对象存储提供标准化的生命周期管理接口。

6.2 COSI 的核心抽象

BucketClaim：声明一个 Bucket 的请求；
Bucket：实际创建的 Bucket 资源；
BucketAccess：将 Bucket 的访问凭证注入到 Pod。

yaml 复制代码

apiVersion: objectstorage.k8s.io/v1alpha1
kind: BucketClaim
metadata:
  name: ai-training-data
spec:
  protocol:
    s3:
      endpoint: https://minio.example.com

6.3 进展与生态

COSI 已进入 CNCF 沙箱项目阶段，多家云厂商与开源对象存储项目正在推进驱动实现。未来，COSI 有望与 CSI 形成互补，分别覆盖块/文件存储与对象存储的标准化接入。

7. 实战：为万卡集群设计存储方案

7.1 需求分析

万卡集群的存储设计首先要明确负载特征：

训练数据集的规模与读取模式；
检查点写入频率与数据量；
日志与元数据的规模；
多租户隔离与 QoS 需求。

7.2 分层架构

建议采用分层存储架构：

热数据层：NVMe 全闪存，承载高频读取的训练数据与活跃检查点；
温数据层：SSD/HDD 混合，承载低频访问的历史数据与备份；
冷数据层：对象存储，承载归档数据与长期保留的模型版本。

7.3 关键设计要点

并行文件系统：采用 Lustre、GPFS 或 JuiceFS 等支持高并发读写的文件系统，配合 CSI 驱动接入 Kubernetes；
检查点优化：结合 CBT 增量快照能力，缩短检查点写入时间；
数据预加载：利用缓存层预取训练数据，减少训练等待；
弹性扩展：存储控制面与数据面分离，支持按需扩容。

7.4 架构图

#mermaid-svg-mGZ2j9GuzKnGl8qV{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-mGZ2j9GuzKnGl8qV .error-icon{fill:#552222;}#mermaid-svg-mGZ2j9GuzKnGl8qV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-mGZ2j9GuzKnGl8qV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .marker.cross{stroke:#333333;}#mermaid-svg-mGZ2j9GuzKnGl8qV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-mGZ2j9GuzKnGl8qV p{margin:0;}#mermaid-svg-mGZ2j9GuzKnGl8qV .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster-label text{fill:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster-label span{color:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster-label span p{background-color:transparent;}#mermaid-svg-mGZ2j9GuzKnGl8qV .label text,#mermaid-svg-mGZ2j9GuzKnGl8qV span{fill:#333;color:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .node rect,#mermaid-svg-mGZ2j9GuzKnGl8qV .node circle,#mermaid-svg-mGZ2j9GuzKnGl8qV .node ellipse,#mermaid-svg-mGZ2j9GuzKnGl8qV .node polygon,#mermaid-svg-mGZ2j9GuzKnGl8qV .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .rough-node .label text,#mermaid-svg-mGZ2j9GuzKnGl8qV .node .label text,#mermaid-svg-mGZ2j9GuzKnGl8qV .image-shape .label,#mermaid-svg-mGZ2j9GuzKnGl8qV .icon-shape .label{text-anchor:middle;}#mermaid-svg-mGZ2j9GuzKnGl8qV .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .rough-node .label,#mermaid-svg-mGZ2j9GuzKnGl8qV .node .label,#mermaid-svg-mGZ2j9GuzKnGl8qV .image-shape .label,#mermaid-svg-mGZ2j9GuzKnGl8qV .icon-shape .label{text-align:center;}#mermaid-svg-mGZ2j9GuzKnGl8qV .node.clickable{cursor:pointer;}#mermaid-svg-mGZ2j9GuzKnGl8qV .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .arrowheadPath{fill:#333333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-mGZ2j9GuzKnGl8qV .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-mGZ2j9GuzKnGl8qV .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-mGZ2j9GuzKnGl8qV .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster text{fill:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV .cluster span{color:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-mGZ2j9GuzKnGl8qV .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-mGZ2j9GuzKnGl8qV rect.text{fill:none;stroke-width:0;}#mermaid-svg-mGZ2j9GuzKnGl8qV .icon-shape,#mermaid-svg-mGZ2j9GuzKnGl8qV .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-mGZ2j9GuzKnGl8qV .icon-shape p,#mermaid-svg-mGZ2j9GuzKnGl8qV .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-mGZ2j9GuzKnGl8qV .icon-shape .label rect,#mermaid-svg-mGZ2j9GuzKnGl8qV .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-mGZ2j9GuzKnGl8qV .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-mGZ2j9GuzKnGl8qV .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-mGZ2j9GuzKnGl8qV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 万卡训练集群
CSI 驱动
并行文件系统
NVMe 热数据层
SSD/HDD 温数据层
对象存储冷数据层
COSI 驱动
CBT 增量快照

7.5 落地建议

先以较小规模（如千卡）验证存储方案，再逐步扩展至万卡；
建立存储性能监控体系，持续优化热点路径；
关注 CSI 与 COSI 生态演进，及时引入增量快照、自动分层等新能力。

8. 总结

CSI 的标准化奠定了云原生存储的接入基础，CBT 增量快照与 SIG Storage 的 2026 规划正在将存储能力推向智能化与高效化。面对 AI 工作负载的高吞吐、低延迟与大容量挑战，分层存储架构与标准化接口的结合，是构建万卡集群存储方案的关键路径。未来，随着 COSI 的成熟，块、文件与对象存储将形成完整的标准化接入体系，为云原生数据基础设施提供更坚实的底座。