rustfs

分布式存储与RustFS

模型权重散落在每台 GPU？用 RustFS 给 vLLM 做共享权重库多卡推理集群要面对一个现实：模型权重散落在每台机器上，节点越多越难管。A 节点还跑着上周的量化版，B 节点已经换上新 checkpoint，排查「为什么两台机器输出不一样」时，第一反应往往是去比对本地缓存。扩容一台新机器，光把几十 GB 的权重从 Hub 拉到本地盘就要等半天。把权重收进一个统一的对象存储桶，让所有节点只读同一份源，这个老问题其实有更省心的解法。

分布式存储与RustFS

你的网站备份只存一块盘？把 1Panel 的备份目标换成 RustFS网站文件、数据库、证书、面板自己的配置，全躺在一台服务器的盘上。1Panel 的备份功能其实早就备好了出路：官方文档写明备份账号支持对接云端存储，官网也把"一键备份与恢复，并可对接多种云端存储"挂在特性列表里。但相当一部分人装完面板，备份任务的目标就一直停在服务器本地盘上。盘一坏、机器被回收，备份和数据一起陪葬。这篇把这条出路走通：让 1Panel 的计划任务把备份推到 RustFS 上。RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储，100% 兼容 S3 协议，Apache 2.0

分布式存储与RustFS

十分钟在自己机器上跑通一个 S3 兼容对象存储（RustFS + Docker）本地联调代码要一个对象存储、给客户做 POC 要演示、边缘小站想垫一层存储底座，都不值得专门为它采购和运维一套分布式集群。一条 docker run 就能在笔记本或一台小服务器上把 RustFS 跑起来，S3 接口直接可用，代码里把 endpoint 指过来就能测。这篇把从拉镜像到用 aws-cli 建桶的完整路径走一遍，并把几个最容易卡住的点讲清楚。

分布式存储与RustFS

在 1Panel 应用商店部署 RustFS：安装、配置与验证步骤装一套对象存储，教程往往一上来就是十几行的 docker run：挂卷、设环境变量、开端口，装完还得自己琢磨凭证和 TLS 的事。如果只是想给备份、图床或者网盘找个存储后端，可以先走一条更省事的路：RustFS 已经上架了 1Panel 的应用商店，安装、升级、日志查看都能在面板里完成。RustFS 是一个开源的分布式对象存储，100% 兼容 S3 协议，采用 Apache 2.0 协议。

分布式存储与RustFS

GPU 在空转等数据？PyTorch 训练集进 RustFS 的三种接法分布式训练里最尴尬的一幕往往是：GPU 算完一批，下一批数据还没从存储拉上来，几十张卡集体空转。把训练集放在对象存储、训练节点按需拉取，能把存储和计算彻底解耦，训练集群扩缩容时存储不用跟着动。很多团队一开始把数据集塞在本地 NVMe，单机训没问题，一上分布式多机就发现数据搬不动、各机看到的还不是同一份；对象存储用同一个 key 空间，所有节点读的是同一份数据，这份一致性是分布式训练的前提。RustFS 是 100% 兼容 S3 的存储，PyTorch、TensorFlow 不用改框架代码，只要把 endp

分布式存储与RustFS

DPU卸载纠删码与加密：解决AI对象存储的CPU瓶颈一个千卡训练集群跑到半夜，GPU 利用率掉了下来，排查下来是存储节点的 CPU 满了：它在给每一个对象算纠删码、做加密，盘和网络反而有空闲。计算等数据，数据卡在编码上，这是 AI 数据中心里很典型的错位。网卡走到 100G、200G 之后，线速折算过来是每秒十几 GB 的持续流量，纠删码编码、压缩、加密这些计算密集步骤全压在通用 CPU 上，CPU 会先于磁盘成为瓶颈，把这部分重活从 CPU 挪出去是数据面优化的主要方向，目前讨论最多的落点就是 DPU。

分布式存储与RustFS

把现有 S3 工具链直接接到 RustFS：100% 兼容到底覆盖哪些 API一套跑了三年的 S3 工具链，多半长这样：aws-cli 脚本每晚把数据库 dump 推到桶里，mc 负责日常的桶和生命周期管理，rclone 在两个机房之间同步构建产物，应用侧用 AWS SDK 直连。要换掉底层存储的时候，团队问的第一个问题几乎都一样：这些脚本要不要改。

分布式存储与RustFS

对象存储正在吞掉数据湖：RustFS 1.0 GA 与 MinIO AIStor Tables 把 2026 风向说清楚过去十年，搞数据的团队基本是两套系统在并行跑。对象存储（S3 及兼容方案）放图片、日志、模型权重、备份这些非结构化 blob；另一边再养一套独立的元数据和表引擎（Hive Metastore、Delta Lake、Iceberg catalog）去管结构化的表。两套系统意味着两份权限、两份治理、两份账单，还要写一堆把对象路径和表元数据对齐的胶水管道。

分布式存储与RustFS

RustFS 多协议接入全景：S3 之外，Swift/Keystone 与 SFTP/FTPS 怎么选一套对象存储前面如果只开 S3，大多数场景确实够用，但总有那么几个瞬间会卡住：运维想临时丢一个大文件进去、某台老系统只认 SFTP、或者你这套存储要并到既有的 OpenStack 体系里，那边全是 Swift 客户端。这时候常见的做法是再架一层网关，等于多养一个组件、多一处故障点。

分布式存储与RustFS

在 Kubernetes 上用 RustFS Operator 给 Tenant 开 KMS 加密：spec.encryption 实战一套跑在 Kubernetes 里的对象存储，只要开始接业务数据，迟早会碰到加密这个命题：等保、HIPAA、PCI 这类合规框架基本都要求"静态数据加密 + 密钥可审计"。我见过不少团队把数据落进对象存储后才发现，存的是用户上传的证件、病历或合同，没有服务端加密，合规那一关就过不去。

分布式存储与RustFS

RustFS 1.0 GA 前的生产验收清单：从 rc.1 到 GA 该准备什么一支存储团队决定把某类数据从公有云 S3 迁回自建，或者给 AI 训练管线找一块 S3 兼容的本地存储，往往会把 RustFS 放进候选。我最近帮两个团队做选型，他们问的不是"能不能跑"，而是"rc.1 能不能上生产、上线前我该验收什么"。这个问题问得对——候选发布版本和 GA 之间的差距，要靠一份清单去填，而不是靠热度去赌。

分布式存储与RustFS

RustFS 1.0.0-rc.5 发布：GA 前的最后一次大版本打磨一句话定位：RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储，100% 兼容 S3 API，Apache 2.0 协议，底层用 Rust 构建，可作为 MinIO 的 drop-in 替代方案。

分布式存储与RustFS

把 RustFS 当 ClickHouse 的 S3 存储盘：冷热分层落对象存储一句话定位：RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储，100% 兼容 S3 API，Apache 2.0 协议，可作为 MinIO 的 drop-in 替代方案。

分布式存储与RustFS

用 RustFS 原生 CLI `rc` 管对象存储：从 alias 到 cp 的完整玩法一句话定位：RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储，100% 兼容 S3 API，Apache 2.0 协议，底层用 Rust 构建，可作为 MinIO 的 drop-in 替代方案。

分布式存储与RustFS

用 RPM/DEB 包在 Linux 上安装 RustFS：生产落地第一步一句话定位：RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储，100% 兼容 S3 API，Apache 2.0 协议，底层用 Rust 构建，可作为 MinIO 的 drop-in 替代方案。

分布式存储与RustFS

RustFS 生命周期与分层：让冷数据自动搬家、热数据自己回家一个训练日志桶，三个月前的调试日志没人看了，却还在占着高性能 NVMe 的贵价空间。我见过不少团队靠手写 cron 脚本定期 mc rm 来清过期数据，结果脚本哪天挂了没人发现，磁盘悄悄被塞满。RustFS 把这类需求做成了原生的生命周期（Lifecycle）与分层（Tiering）能力：过期规则按桶配置，冷数据还能异步迁到便宜的远端存储，本地只留元数据继续服务读。这篇文章把规则写法、分层后端和几个边界讲清楚。

分布式存储与RustFS

RustFS 原生支持 S3 Tables：对象存储怎么变成 AI 原生存储一套 AI 训练管线里，原始图片、视频、文本扔在对象存储，训练样本的特征表、标签、检查点元数据却躺在数仓或单独的湖仓里。两套房系统，数据要在之间来回搬，搬一次就多吃一遍网络带宽、多一截延迟。2024 年 AWS 推出 S3 Tables，把 Apache Iceberg 这种表格式直接塞进对象存储核心；2026 年 6 月 15 日，RustFS 官方博客宣布原生支持 S3 Tables 已接近完成。这条线值得认真看——它把"对象存储"和"AI 原生存储"之间的墙打通了。

分布式存储与RustFS

用 rclone 把现有 S3/MinIO 数据同步到 RustFS有套 MinIO 跑了两年，里面是数据库备份和客户交付物。你想在 RustFS 上再做一份异地副本，万一主存储出问题能拉得回来。不想写迁移脚本，也不想引入新组件——rclone 一个二进制就够。

分布式存储与RustFS

在自己的机器上复现 RustFS 性能基准：warp 压测实操2026-07-17 RustFS 发了 1.0.0-beta.10，官方 warp 压测里 PUT 在 4MiB 对象上跑出 2.85× 于 MinIO。我看到这种数字第一反应是：我的机器能复现吗？还是只在 Azure 那套 4 节点 × 4 盘、32000 IOPS 的 NVMe 配置上才成立？这篇就讲怎么在你自己机器上把这套基准跑出来，以及哪些数字你能信、哪些得打折。

分布式存储与RustFS

把 12TB 生产数据从 MinIO 迁到 RustFS：一次真实迁移的实测有一支团队在 2026 年 3 月把一个跑了多年的生产对象存储从 MinIO 迁到了 RustFS，数据量 12.4TB、4700 万个对象，单周末切完。他们公开了迁移前后在同一套硬件上的实测数字。我把它拆开看，不是想证明谁赢，而是想弄明白：对一个已经在用 MinIO 的团队，换成 RustFS 到底改了什么、收益落在哪、代价又是什么。结论先放这——写路径和运维开销的改善是真金白银，协议层面几乎零改动。