分布式存储

分布式存储与RustFS1 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 原生支持 S3 Tables:对象存储怎么变成 AI 原生存储一套 AI 训练管线里,原始图片、视频、文本扔在对象存储,训练样本的特征表、标签、检查点元数据却躺在数仓或单独的湖仓里。两套房系统,数据要在之间来回搬,搬一次就多吃一遍网络带宽、多一截延迟。2024 年 AWS 推出 S3 Tables,把 Apache Iceberg 这种表格式直接塞进对象存储核心;2026 年 6 月 15 日,RustFS 官方博客宣布原生支持 S3 Tables 已接近完成。这条线值得认真看——它把"对象存储"和"AI 原生存储"之间的墙打通了。
分布式存储与RustFS3 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
在自己的机器上复现 RustFS 性能基准:warp 压测实操2026-07-17 RustFS 发了 1.0.0-beta.10,官方 warp 压测里 PUT 在 4MiB 对象上跑出 2.85× 于 MinIO。我看到这种数字第一反应是:我的机器能复现吗?还是只在 Azure 那套 4 节点 × 4 盘、32000 IOPS 的 NVMe 配置上才成立?这篇就讲怎么在你自己机器上把这套基准跑出来,以及哪些数字你能信、哪些得打折。
分布式存储与RustFS4 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
把 12TB 生产数据从 MinIO 迁到 RustFS:一次真实迁移的实测有一支团队在 2026 年 3 月把一个跑了多年的生产对象存储从 MinIO 迁到了 RustFS,数据量 12.4TB、4700 万个对象,单周末切完。他们公开了迁移前后在同一套硬件上的实测数字。我把它拆开看,不是想证明谁赢,而是想弄明白:对一个已经在用 MinIO 的团队,换成 RustFS 到底改了什么、收益落在哪、代价又是什么。结论先放这——写路径和运维开销的改善是真金白银,协议层面几乎零改动。
分布式存储与RustFS6 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 监控实战:OpenTelemetry Collector 把指标接入 Prometheus + Grafana集群里 RustFS 跑了三节点,某天业务反馈写入变慢,你上去想看吞吐和在线节点数,却发现 :9000/metrics 抓不到任何 Prometheus 数据。不是没监控能力,是 RustFS 的指标走的是另一条路:OpenTelemetry,不是 Prometheus 拉。
分布式存储与RustFS8 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
从 MinIO 到 RustFS:不只是换语言,更是换一份协议自由一次选型评审,技术方案都过了,卡在法务:产品要通过网络对外提供基于 MinIO 的能力,而 MinIO 是 AGPL v3,按条款"网络服务即分发",得把整个服务的源码开源。团队不想为用一个存储组件把核心业务敞开,于是开始找 S3 替代。
分布式存储与RustFS9 天前
云原生·kubernetes·开源·对象存储·分布式存储·s3·rustfs
给 Kubernetes 找一个对象存储后端:RustFS Helm 部署 + 应用接入实录集群里跑着训练任务和日志管道,PVC 块存储越堆越多:扩容量要等重建、多个 Pod 抢同一份数据时还要自己处理锁和拷贝。你查了一圈,发现这类工作负载真正需要的是一个 S3 兼容的对象存储后端——对象不上锁、随便共享、还能挂生命周期策略自动归档。于是你在集群里起了个 MinIO,但 AGPL 的许可条款让法务皱了眉,镜像里那些遥测也让数据主权强迫症难受。
seacracker1 个月前
架构·分布式存储·powerfs·hpc存储·i/o零抖动
HPC存储I/O抖动无解?PowerFS基于CRDT弱一致架构,彻底实现前台零抖动摘要:HPC+AI混合算力场景下,I/O抖动是制约作业稳定性、GPU利用率、集群吞吐的核心顽疾。传统Lustre、Ceph等存储普遍存在后台任务抢占、锁竞争、GC停顿、广播风暴问题,导致前台作业延迟剧烈波动,最慢节点直接拖垮整体集群性能。本文基于PowerFS全新CRDT弱一致+三协议统一(FUSE/S3/KV)架构,深度拆解行业抖动根源,详解PowerFS分层优先级调度、资源隔离、无锁优化、硬件全卸载的零抖动解决方案,从架构层面彻底根治HPC与AI混跑场景的I/O抖动难题。
带娃的IT创业者3 个月前
分布式存储·数据主权·数字保存·地缘政治·知识遗产·抗审查
Internet Archive Switzerland:当知识遗产遭遇地缘政治与数字永生在当今这个信息爆炸却又极其脆弱的数字时代,数据的持久性正面临着前所未有的挑战。我们习惯于认为,一旦某件事物被上传到互联网,它就会永远存在。然而,事实远非如此。链接腐烂、服务器关停、地缘政治冲突以及法律纠纷,都在时刻威胁着人类数字文明的完整性。
马立杰3 个月前
ceph·分布式存储
Ceph 集群手动部署本文在 Rocky8.8 系统搭建三节点 Ceph Pacific 集群,依次部署 MON、MGR、OSD、MDS、RGW 核心组件。提前优化系统环境,配置密钥安全认证,开启监控可视化面板,搭建文件与对象存储服务,完成挂载及文件上传测试,成功构建可用的分布式存储集群。
XSKY星辰天合3 个月前
openeuler·分布式存储
XSKY 持续端到端投入再添成果:XSKYOS 通过 openEuler 生态测评近日,北京星辰天合科技股份有限公司(以下简称“XSKY 星辰天合”)基于 openEuler 自主研发的操作系统 XSKYOS Linux 2506 顺利通过 openEuler 社区的技术测评,成功荣获「openEuler 技术测评证书」。
XSKY星辰天合3 个月前
数据湖·对象存储·分布式存储
从“能存下”到“训得动”:XSKY XEOS 支撑头部 AI 实验室建设 EB 级数据湖大模型规模化训练正加速推动 AI 数据湖突破规模临界点,也让企业和科研机构陷入一个核心困境:数据湖“能存下”不难,“存得统一、用得高效”却愈发艰难。
分布式存储与RustFS3 个月前
对象存储·分布式存储·rustfs·国产自研·轻量化存储·信创替代·minio替代
RustFS:国产对象存储的新希望近些年,信创国产化落地提速、AI小文件存储需求爆发,国内对象存储市场迎来全新变革期。但长期以来,国产开源对象存储一直存在明显短板:要么架构老旧、基于国外项目二次开发,核心技术不自主;要么性能孱弱、资源开销大,无法适配生产场景;要么协议受限、运维复杂,中小企业不敢轻易落地。随着MinIO社区版迭代停滞、商业门槛抬高、协议风险凸显,行业急需一款真正自研、轻量高效、稳定合规的国产平替方案。最近全新发布的RustFS Beta,彻底摆脱了传统国产存储的通病,凭借纯自研底层、Rust原生高性能架构、全场景信创适配、
XSKY星辰天合7 个月前
分布式存储
架构决定上限!XEBS-XINFINI 单卷突破 410.9 万 IOPS在 AI、大数据与云原生全面爆发的当下,大模型训练/推理、特征工程、向量检索等 AI 工作负载 正在把基础设施的性能门槛一再推高。核心数据库、虚拟化平台以及实时分析等传统关键业务,对底层存储也提出了“既要顶住高并发,又要服务 AI 工作负载”的双重要求。
only_Klein7 个月前
ceph·kubernetes·分布式存储
kubernetes集群下的分布式存储方案-ceph本实验通过 ceph 的对接使用,实现对于 Kubernetes 后端块存储和文件存储的实践。理解 volume 挂载 ceph-rbd 的方法。(k8s v1.31 版本将删除Ceph RBD 卷插件及其 CSI 迁移支持,rbd卷类型将无法继续使用。 建议你在集群中使用RBD CSI 驱动。)
XSKY星辰天合7 个月前
ai·分布式存储
XSKY 赋能高端半导体制造:12 寸晶圆产线数据的高效管治实践随着半导体制造工艺日趋精密,海量生产质检数据的高效管理已成为 12 寸晶圆厂提升良率、保障合规的核心竞争力。
2401_841495647 个月前
大数据·边缘计算·实时计算·多模态·分布式存储·数据价值·大数据技术
大数据技术:从技术革命到产业重构的核心引擎目录一、引言二、大数据的核心定义与特征:解码海量数据的本质三、大数据技术架构:构建全链路数据处理体系(一)数据采集与传输:筑牢数据源头根基
木二_8 个月前
云原生·kubernetes·云原生存储·对象存储·分布式存储·rustfs
附057.RustFS云原生Kubernetes部署指南RustFS是使用目前全球最流行的、内存安全的Rust语言开发的 高性能 , 分布式对象存储软件。RustFS 同时具备简单、高效的特点,也是一种高效、开源、自由、可以进行本地私有云部署的对象存储解决方案。RustFS 100% 兼容 S3 协议,使用 Apache2 许可证发行的开源软件。RustFS 使用目前全世界最受欢迎的、内存安全的语言 Rust 语言编写。 它是由全世界优秀的工程师参与并贡献的一款对于商用友好的分布式对象存储产品,RustFS 可以平替非常多非友好开源协议的对象存储产品。
XSKY星辰天合8 个月前
分布式存储·icelake 冰湖
XSKY IceLake 冰湖:开启 PB 级数据归档新时代面对非结构化数据的爆发式增长与日益严峻的存储成本挑战,XSKY星辰天合正式发布革命性数据归档解决方案——IceLake 冰湖。该产品专为海量非结构化冷数据及成本敏感型业务设计,通过创新的介质管理与小文件聚合技术,实现 PB 级数据的低成本、自动化、合规化长期留存,彻底解决传统归档模式下管理割裂、性能瓶颈与成本高昂的难题。
zwxu_8 个月前
ceph·分布式存储
Ceph基础原理分享1、Ceph存储架构2、Radosgw层2.1 Bucket & Object3、Rados层3.1 重要成员