分布式存储

SeanQhl3 小时前
ceph·分布式存储·华为云ecs
基于华为云ECS平台的分布式存储系统Ceph-部署指导Ceph 是一个开源的、统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。其中“统一”是指 Ceph 可以一套存储系统同时提供块设备存储、文件系统存储和对象存储三种存储功能。
杉岩数据6 小时前
对象存储·分布式存储·检测图片·工厂存储·生产数据
制造工厂海量生产数据统一存储管理方案与实践在制造业的数字化转型浪潮中,许多工厂都经历过这样的现实困境:产线高速运转,高清摄像头每秒都在生成海量的图像与视频数据,但后端的存储系统却成了“拦路虎”。传统的文件服务器在数据量突破千万级时,响应速度急剧下降,工程师想要调取一个月前的某批次产品质检图,往往需要等待数分钟甚至更久。这种延迟不仅拖慢了生产节奏,更让基于大数据的质量追溯和 AI 模型训练变得举步维艰。当非结构化数据的规模膨胀到亿级甚至十亿级文件时,继续依赖旧有的 NAS(网络附属存储)架构,无论在性能、可靠性还是扩展性上,都难以满足现代智能制造的
分布式存储与RustFS8 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 多协议接入全景:S3 之外,Swift/Keystone 与 SFTP/FTPS 怎么选一套对象存储前面如果只开 S3,大多数场景确实够用,但总有那么几个瞬间会卡住:运维想临时丢一个大文件进去、某台老系统只认 SFTP、或者你这套存储要并到既有的 OpenStack 体系里,那边全是 Swift 客户端。这时候常见的做法是再架一层网关,等于多养一个组件、多一处故障点。
分布式存储与RustFS8 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
在 Kubernetes 上用 RustFS Operator 给 Tenant 开 KMS 加密:spec.encryption 实战一套跑在 Kubernetes 里的对象存储,只要开始接业务数据,迟早会碰到加密这个命题:等保、HIPAA、PCI 这类合规框架基本都要求"静态数据加密 + 密钥可审计"。我见过不少团队把数据落进对象存储后才发现,存的是用户上传的证件、病历或合同,没有服务端加密,合规那一关就过不去。
分布式存储与RustFS9 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 1.0 GA 前的生产验收清单:从 rc.1 到 GA 该准备什么一支存储团队决定把某类数据从公有云 S3 迁回自建,或者给 AI 训练管线找一块 S3 兼容的本地存储,往往会把 RustFS 放进候选。我最近帮两个团队做选型,他们问的不是"能不能跑",而是"rc.1 能不能上生产、上线前我该验收什么"。这个问题问得对——候选发布版本和 GA 之间的差距,要靠一份清单去填,而不是靠热度去赌。
分布式存储与RustFS10 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 1.0.0-rc.5 发布:GA 前的最后一次大版本打磨一句话定位:RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 API,Apache 2.0 协议,底层用 Rust 构建,可作为 MinIO 的 drop-in 替代方案。
分布式存储与RustFS11 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
把 RustFS 当 ClickHouse 的 S3 存储盘:冷热分层落对象存储一句话定位:RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 API,Apache 2.0 协议,可作为 MinIO 的 drop-in 替代方案。
分布式存储与RustFS15 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
用 RustFS 原生 CLI `rc` 管对象存储:从 alias 到 cp 的完整玩法一句话定位:RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 API,Apache 2.0 协议,底层用 Rust 构建,可作为 MinIO 的 drop-in 替代方案。
分布式存储与RustFS15 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
用 RPM/DEB 包在 Linux 上安装 RustFS:生产落地第一步一句话定位:RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 API,Apache 2.0 协议,底层用 Rust 构建,可作为 MinIO 的 drop-in 替代方案。
分布式存储与RustFS17 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 生命周期与分层:让冷数据自动搬家、热数据自己回家一个训练日志桶,三个月前的调试日志没人看了,却还在占着高性能 NVMe 的贵价空间。我见过不少团队靠手写 cron 脚本定期 mc rm 来清过期数据,结果脚本哪天挂了没人发现,磁盘悄悄被塞满。RustFS 把这类需求做成了原生的生命周期(Lifecycle)与分层(Tiering)能力:过期规则按桶配置,冷数据还能异步迁到便宜的远端存储,本地只留元数据继续服务读。这篇文章把规则写法、分层后端和几个边界讲清楚。
分布式存储与RustFS21 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 原生支持 S3 Tables:对象存储怎么变成 AI 原生存储一套 AI 训练管线里,原始图片、视频、文本扔在对象存储,训练样本的特征表、标签、检查点元数据却躺在数仓或单独的湖仓里。两套房系统,数据要在之间来回搬,搬一次就多吃一遍网络带宽、多一截延迟。2024 年 AWS 推出 S3 Tables,把 Apache Iceberg 这种表格式直接塞进对象存储核心;2026 年 6 月 15 日,RustFS 官方博客宣布原生支持 S3 Tables 已接近完成。这条线值得认真看——它把"对象存储"和"AI 原生存储"之间的墙打通了。
分布式存储与RustFS23 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
在自己的机器上复现 RustFS 性能基准:warp 压测实操2026-07-17 RustFS 发了 1.0.0-beta.10,官方 warp 压测里 PUT 在 4MiB 对象上跑出 2.85× 于 MinIO。我看到这种数字第一反应是:我的机器能复现吗?还是只在 Azure 那套 4 节点 × 4 盘、32000 IOPS 的 NVMe 配置上才成立?这篇就讲怎么在你自己机器上把这套基准跑出来,以及哪些数字你能信、哪些得打折。
分布式存储与RustFS24 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
把 12TB 生产数据从 MinIO 迁到 RustFS:一次真实迁移的实测有一支团队在 2026 年 3 月把一个跑了多年的生产对象存储从 MinIO 迁到了 RustFS,数据量 12.4TB、4700 万个对象,单周末切完。他们公开了迁移前后在同一套硬件上的实测数字。我把它拆开看,不是想证明谁赢,而是想弄明白:对一个已经在用 MinIO 的团队,换成 RustFS 到底改了什么、收益落在哪、代价又是什么。结论先放这——写路径和运维开销的改善是真金白银,协议层面几乎零改动。
分布式存储与RustFS1 个月前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 监控实战:OpenTelemetry Collector 把指标接入 Prometheus + Grafana集群里 RustFS 跑了三节点,某天业务反馈写入变慢,你上去想看吞吐和在线节点数,却发现 :9000/metrics 抓不到任何 Prometheus 数据。不是没监控能力,是 RustFS 的指标走的是另一条路:OpenTelemetry,不是 Prometheus 拉。
分布式存储与RustFS1 个月前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
从 MinIO 到 RustFS:不只是换语言,更是换一份协议自由一次选型评审,技术方案都过了,卡在法务:产品要通过网络对外提供基于 MinIO 的能力,而 MinIO 是 AGPL v3,按条款"网络服务即分发",得把整个服务的源码开源。团队不想为用一个存储组件把核心业务敞开,于是开始找 S3 替代。
分布式存储与RustFS1 个月前
云原生·kubernetes·开源·对象存储·分布式存储·s3·rustfs
给 Kubernetes 找一个对象存储后端:RustFS Helm 部署 + 应用接入实录集群里跑着训练任务和日志管道,PVC 块存储越堆越多:扩容量要等重建、多个 Pod 抢同一份数据时还要自己处理锁和拷贝。你查了一圈,发现这类工作负载真正需要的是一个 S3 兼容的对象存储后端——对象不上锁、随便共享、还能挂生命周期策略自动归档。于是你在集群里起了个 MinIO,但 AGPL 的许可条款让法务皱了眉,镜像里那些遥测也让数据主权强迫症难受。
seacracker2 个月前
架构·分布式存储·powerfs·hpc存储·i/o零抖动
HPC存储I/O抖动无解?PowerFS基于CRDT弱一致架构,彻底实现前台零抖动摘要:HPC+AI混合算力场景下,I/O抖动是制约作业稳定性、GPU利用率、集群吞吐的核心顽疾。传统Lustre、Ceph等存储普遍存在后台任务抢占、锁竞争、GC停顿、广播风暴问题,导致前台作业延迟剧烈波动,最慢节点直接拖垮整体集群性能。本文基于PowerFS全新CRDT弱一致+三协议统一(FUSE/S3/KV)架构,深度拆解行业抖动根源,详解PowerFS分层优先级调度、资源隔离、无锁优化、硬件全卸载的零抖动解决方案,从架构层面彻底根治HPC与AI混跑场景的I/O抖动难题。
带娃的IT创业者3 个月前
分布式存储·数据主权·数字保存·地缘政治·知识遗产·抗审查
Internet Archive Switzerland:当知识遗产遭遇地缘政治与数字永生在当今这个信息爆炸却又极其脆弱的数字时代,数据的持久性正面临着前所未有的挑战。我们习惯于认为,一旦某件事物被上传到互联网,它就会永远存在。然而,事实远非如此。链接腐烂、服务器关停、地缘政治冲突以及法律纠纷,都在时刻威胁着人类数字文明的完整性。
马立杰4 个月前
ceph·分布式存储
Ceph 集群手动部署本文在 Rocky8.8 系统搭建三节点 Ceph Pacific 集群,依次部署 MON、MGR、OSD、MDS、RGW 核心组件。提前优化系统环境,配置密钥安全认证,开启监控可视化面板,搭建文件与对象存储服务,完成挂载及文件上传测试,成功构建可用的分布式存储集群。
XSKY星辰天合4 个月前
openeuler·分布式存储
XSKY 持续端到端投入再添成果:XSKYOS 通过 openEuler 生态测评近日,北京星辰天合科技股份有限公司(以下简称“XSKY 星辰天合”)基于 openEuler 自主研发的操作系统 XSKYOS Linux 2506 顺利通过 openEuler 社区的技术测评,成功荣获「openEuler 技术测评证书」。