s3

分布式存储与RustFS1 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
RustFS 分片上传怎么配:大文件断点续传的最小可验证流程上传一个 10 GiB 的视频素材,传到 90% 时网络抖了一下,整次上传失败、从头再来,这是对象存储里最让人烦躁的体验之一。S3 的分片上传(Multipart Upload)协议就是为这种场景设计的:把一个大对象切成若干片,逐片独立上传,哪片失败只重传哪片,全部到齐后再“组装”成完整对象。RustFS 作为 S3 兼容的对象存储,走的是同一套协议。本文给一条最小可验证流程,照着跑通,你就拿到了断点续传的能力。
分布式存储与RustFS1 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Rivet 的 Agent 状态存进自建 RustFS:主桶配置与上线边界2026-11-05 的 Hacker News Launch HN 帖把 Rivet 带进视野,截至 11-06 约 75 分、42 条评论。做自托管的人会盯住它的存储选择。Rivet 把每个 Agent 的持久状态最终都放进一个对象存储桶,这个桶默认指向 S3。把这桶落到自建的 RustFS 上,动的是控制面的一段存储配置:五个环境变量,加上回源读延迟和两个集群不共桶这两条边界。
分布式存储与RustFS4 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
不用 Spark 也能建 Iceberg 表:用 PyIceberg 把表直接落到 RustFS S3 Tables你要在对象存储里建一张 Iceberg 表,又不想为了写几条数据就去拉一整套 Spark 集群。RustFS 的 S3 Tables 从 1.0.0 起就把 Iceberg 的 catalog 做进了内核,意味着你拿一个 Python 客户端就能直接建命名空间、建表、灌数据,catalog 服务不用自己单独维护。下面用 PyIceberg 0.10.0 把这条路走通,重点放在它和普通 S3 接入不一样的那道签名环节,以及为什么验证一定要分两步。
分布式存储与RustFS4 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Terraform 状态文件老在本地丢、并发还撞锁:把 state 锁进 RustFS用 Terraform 管基础设施,状态文件(tfstate)默认躺在执行机的本地盘上。单机跑还好,CI 并发一跑、或者换台机器 apply,状态对不上就开始 drift;为了防止并发破坏状态,很多人还得额外搭一套 DynamoDB 当锁。Terraform 的 S3 backend 能把状态文件和状态锁都以对象形式存进对象存储,RustFS 100% 兼容 S3,直接就能当这个后端,连 DynamoDB 那套都省了。本文用官方验证过的组合把链路跑通:Terraform 1.12.2 对 rustfs/r
分布式存储与RustFS6 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
镜像仓库的层别只堆本地盘:用 RustFS 给 Harbor 当 S3 后端Harbor 里一个镜像仓库要是堆了几百个版本,镜像层直接吃满宿主机的本地盘是迟早的事。Harbor 把镜像的 blob(层数据)、清单和仓库链接都交给内嵌的 registry 组件,而这个组件原生支持 S3 存储驱动。只要把这个驱动指向 RustFS,镜像层就不再落在某台机器的磁盘上,而是进了可以横向扩的对象桶,多实例的 Harbor 也能共享同一份存储。本文用 Docker Compose 把 registry 组件接上 RustFS,推一个镜像、拉回来,再进桶里确认对象确实落下了。
分布式存储与RustFS6 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
工作流脚本和依赖 JAR 散在各节点本地盘:用 DolphinScheduler 资源中心接到 RustFSDolphinScheduler 跑工作流,脚本、依赖 JAR、UDF 这些资源文件默认存在各节点的本地盘上。单机环境没问题,集群一扩节点、机器一换,资源就找不到了,依赖这些文件的任务也跟着挂。更麻烦的是,运维人员把资源传到 A 节点,调度器却在 B 节点拉起任务,缺文件只能手动再传一遍。DolphinScheduler 的资源中心(resource center)支持把存储后端切成 S3,每个上传的文件都成为桶里 dolphinscheduler/<tenant>/resources/ 之下的对象。用
分布式存储与RustFS6 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
群晖 NAS 被 C3RB3R 锁了:本地备份一起被加密,RustFS 对象锁为什么删不掉2026 年 10 月底(群晖官方 10 月 29 日确认、多家安全通告复盘),大量群晖 NAS 被 C3RB3R 勒索软件集中攻陷,共享文件夹里的文件被加密成 “.L0CK3D” 后缀,根目录和各级子目录都被写入写着 “C3RB3R INSTRUCTIONS” 的勒索信。最扎心的一幕是:很多人把 NAS 当成"最后的保险箱",结果同机上的日常备份、Hyper Backup 目录、甚至快照,只要是这台机器可写挂载的,全被当成普通文件一并锁死。RAID 阵列只防硬盘物理损坏,对操作系统层面的恶意改写毫无招架
分布式存储与RustFS7 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
OpenObserve 的日志别堆本地盘:用 RustFS 当它的对象存储底座OpenObserve 跑起来默认把日志转成的 Parquet 文件写在本地盘上。比如你给三四个服务接了日志,本地盘眼看着要满,又不想为了日志专门养一套分布式存储,这层本地存储就成了绕不开的瓶颈。把对象存储当成它唯一的持久层,OpenObserve 的节点就彻底无状态了:日志进来落进 RustFS 桶,节点挂了换一台照常查,扩容只要加桶容量而不是挪磁盘。把对象存储当成它唯一的持久层,OpenObserve 的节点就彻底无状态了:日志进来落进 RustFS 桶,节点挂了换一台照常查,扩容只要加桶容量而不是挪
分布式存储与RustFS10 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
OpenSearch 的索引快照别只留本地:用 repository-s3 存进 RustFSOpenSearch 跑起来,索引分片默认写在节点自己的本地盘上。单机测试很顺,可一旦索引量上来、节点不止一个,本地盘的故障就成了绕不开的坎:一块盘坏了,上面的分片副本丢了,重建全靠其他副本兜着,集群压力瞬间翻倍。更隐蔽的是快照,很多人把快照也留在本地盘的默认仓库里,等于把备份和原始数据放在了同一块会坏的盘上。OpenSearch 自带 repository-s3 插件,能把索引快照直接写进任意 S3 兼容的对象存储。用 RustFS 当那个 S3 后端,快照统一收进一个桶,节点挂了也能从桶里把索引拉回来
分布式存储与RustFS11 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
镜像仓库的层别堆本地盘:用 RustFS 给 Docker Registry 当 S3 后端自己跑一个 Docker Registry,默认配置下镜像的层和清单全写在仓库主机的本地文件系统上。单机玩玩没问题,一旦你想横向扩几个仓库节点、或者不想因为主机盘坏了就丢镜像,本地盘就成了单点。Docker Registry(distribution 项目)原生支持 S3 存储驱动,把层和清单直接写成对象丢进 RustFS 桶,仓库本身变成无状态,扩节点就是多起几个实例指同一个桶。镜像数据从主机盘搬到对象存储,主机的生命周期就和数据解耦了。
分布式存储与RustFS12 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
RustFS 自建对象存储实战目录:110 篇按场景分类(持续更新)这个账号过去一年写了一大堆 RustFS 和对象存储的实操文章,时间线一拉长,找起来就费劲。这篇目录按"你现在想干什么"来分类,每类挑最常用的篇目,建议收藏,每月更新一次。
分布式存储与RustFS13 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Hudi 表想摆脱 HDFS 绑定?用 Spark + Hudi 直接写进 RustFS做数据湖的团队大多被同一个问题绊过:Hudi 表要么落在 HDFS,要么落在某家公有云的对象存储里。前者要养一套 Hadoop 集群,后者把数据和账单一起锁进厂商。如果手头已经有一套自托管的 RustFS,直接让 Hudi 的 Spark 作业把表写到它的 S3 接口上,数据湖的存储底座就换成了一个能自己掌控、按容量计费的对象存储。
分布式存储与RustFS13 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
给 RustFS 桶加一层内存缓存:用 Alluxio 让热数据少跑一遍网络一批训练集、特征表、模型文件反复被拉取,每次都从 RustFS 桶走一遍网络,带宽账单和延迟都扛不住。Alluxio 在客户端和 RustFS 之间架一层分布式内存缓存:读过的对象块留在 worker 内存盘里,重复读取直接命中,回源次数肉眼可见地降下来。
分布式存储与RustFS15 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Longhorn 的卷备份别堆本地盘:用 RustFS 给它当 S3 备份目标Kubernetes 上的有状态应用,数据大多躺在 Longhorn 的副本盘里。副本解决了单盘损坏,但解决不了误删卷、集群整体出问题、或者你想把备份挪到另一个机房这些事。Longhorn 自带一套备份机制,把卷快照成内容寻址的块丢进一个 S3 目标。把这个目标指向 RustFS,备份就不再是某几块本地盘的私产,而是能跨节点、跨集群读回的对象。副本保证的是高可用,备份保证的是可恢复,这是两件事,不能互相替代。
分布式存储与RustFS16 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
JuiceFS 接 RustFS 当数据后端:把对象存储挂成本地文件系统很多场景卡在同一个矛盾上:应用要的是文件语义——目录树、随机读写、多机共享一个目录,但手头的容量方案要么是单机盘(扩不动),要么是对象存储(只有 GET/PUT,应用改不了)。JuiceFS 就是为这个矛盾设计的:一层 FUSE 文件系统架在对象存储上面,往下把文件切成块存进任何 S3 兼容存储,往上给应用一个正常的 POSIX 挂载点。它当前最新版是 v1.4.2,社区版开源,元数据引擎支持 Redis、PostgreSQL、MySQL 这类网络数据库。
分布式存储与RustFS16 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
K8s 集群备份落到自建对象存储:Velero 接 RustFS 配置指南etcd 快照救的是 API server 里的数据,PV 里的数据不在其中;业务对象加 PV 数据的应用级备份,K8s 生态里的标准工具是 Velero:把集群资源对象和 PV 数据备份进对象存储桶,恢复时再从桶里拉回来。它通过 AWS 插件兼容任意 S3 后端,不过官方对 S3 兼容存储的定位要说准:兼容列表的措辞是"用户报告可用"(users have reported),Velero 团队不做常规测试。MinIO、Tencent Cloud、Ceph 都在这个列表里,社区用量大、文档齐全,但选型时
分布式存储与RustFS16 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
可观测性数据落进对象存储:Proscia 案例拆解与 ClickHouse 自托管配置SaaS 可观测性平台的按量计费,痛点从来不是单价,是数据量涨上去之后那句“要不要限制保留期”。多数团队的日志和指标只留 15 天,不是不想留,是留不起。
分布式存储与RustFS17 天前
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Kafka 分层存储落地指南:冷 Segment 自动落到 RustFS 对象存储Kafka 的数据要留得久,broker 磁盘就跟着膨胀。三个月的订单事件、一年的埋点日志,三副本全在 broker 本地盘上,扩容节奏被 retention 绑死。KIP-405 分层存储就是为了解开这个绑定:滚过的 Segment 搬到对象存储,本地只留热尾巴。这个功能从 3.6 的 early access 走到 3.9.0 才生产可用,Apache Kafka 本身不带存储后端实现,落地要自己装一个 RemoteStorageManager 插件。这篇用 Aiven 开源的 RSM 插件,把远程层
分布式存储与RustFS20 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
模型权重散落在每台 GPU?用 RustFS 给 vLLM 做共享权重库多卡推理集群要面对一个现实:模型权重散落在每台机器上,节点越多越难管。A 节点还跑着上周的量化版,B 节点已经换上新 checkpoint,排查「为什么两台机器输出不一样」时,第一反应往往是去比对本地缓存。扩容一台新机器,光把几十 GB 的权重从 Hub 拉到本地盘就要等半天。把权重收进一个统一的对象存储桶,让所有节点只读同一份源,这个老问题其实有更省心的解法。
分布式存储与RustFS21 天前
运维·开源·备份·对象存储·1panel·s3·rustfs
你的网站备份只存一块盘?把 1Panel 的备份目标换成 RustFS网站文件、数据库、证书、面板自己的配置,全躺在一台服务器的盘上。1Panel 的备份功能其实早就备好了出路:官方文档写明备份账号支持对接云端存储,官网也把"一键备份与恢复,并可对接多种云端存储"挂在特性列表里。但相当一部分人装完面板,备份任务的目标就一直停在服务器本地盘上。盘一坏、机器被回收,备份和数据一起陪葬。这篇把这条出路走通:让 1Panel 的计划任务把备份推到 RustFS 上。RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 协议,Apache 2.0