对象存储

分布式存储与RustFS2 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 原生支持 S3 Tables:对象存储怎么变成 AI 原生存储一套 AI 训练管线里,原始图片、视频、文本扔在对象存储,训练样本的特征表、标签、检查点元数据却躺在数仓或单独的湖仓里。两套房系统,数据要在之间来回搬,搬一次就多吃一遍网络带宽、多一截延迟。2024 年 AWS 推出 S3 Tables,把 Apache Iceberg 这种表格式直接塞进对象存储核心;2026 年 6 月 15 日,RustFS 官方博客宣布原生支持 S3 Tables 已接近完成。这条线值得认真看——它把"对象存储"和"AI 原生存储"之间的墙打通了。
分布式存储与RustFS2 天前
对象存储·s3·rustfs
用 rclone 把现有 S3/MinIO 数据同步到 RustFS有套 MinIO 跑了两年,里面是数据库备份和客户交付物。你想在 RustFS 上再做一份异地副本,万一主存储出问题能拉得回来。不想写迁移脚本,也不想引入新组件——rclone 一个二进制就够。
分布式存储与RustFS4 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
在自己的机器上复现 RustFS 性能基准:warp 压测实操2026-07-17 RustFS 发了 1.0.0-beta.10,官方 warp 压测里 PUT 在 4MiB 对象上跑出 2.85× 于 MinIO。我看到这种数字第一反应是:我的机器能复现吗?还是只在 Azure 那套 4 节点 × 4 盘、32000 IOPS 的 NVMe 配置上才成立?这篇就讲怎么在你自己机器上把这套基准跑出来,以及哪些数字你能信、哪些得打折。
分布式存储与RustFS5 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
把 12TB 生产数据从 MinIO 迁到 RustFS:一次真实迁移的实测有一支团队在 2026 年 3 月把一个跑了多年的生产对象存储从 MinIO 迁到了 RustFS,数据量 12.4TB、4700 万个对象,单周末切完。他们公开了迁移前后在同一套硬件上的实测数字。我把它拆开看,不是想证明谁赢,而是想弄明白:对一个已经在用 MinIO 的团队,换成 RustFS 到底改了什么、收益落在哪、代价又是什么。结论先放这——写路径和运维开销的改善是真金白银,协议层面几乎零改动。
分布式存储与RustFS6 天前
对象存储·s3·rustfs
给 RustFS 加第二个池:volumes 省略号语法与多池扩容路线1. 问题背景:容量不够了,加盘还是加池2. volumes 语法基础:位置参数与省略号3. 单节点多盘与省略号展开
分布式存储与RustFS7 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
RustFS 监控实战:OpenTelemetry Collector 把指标接入 Prometheus + Grafana集群里 RustFS 跑了三节点,某天业务反馈写入变慢,你上去想看吞吐和在线节点数,却发现 :9000/metrics 抓不到任何 Prometheus 数据。不是没监控能力,是 RustFS 的指标走的是另一条路:OpenTelemetry,不是 Prometheus 拉。
分布式存储与RustFS9 天前
云原生·开源·对象存储·分布式存储·s3·rustfs·性能基准
从 MinIO 到 RustFS:不只是换语言,更是换一份协议自由一次选型评审,技术方案都过了,卡在法务:产品要通过网络对外提供基于 MinIO 的能力,而 MinIO 是 AGPL v3,按条款"网络服务即分发",得把整个服务的源码开源。团队不想为用一个存储组件把核心业务敞开,于是开始找 S3 替代。
分布式存储与RustFS10 天前
云原生·kubernetes·开源·对象存储·分布式存储·s3·rustfs
给 Kubernetes 找一个对象存储后端:RustFS Helm 部署 + 应用接入实录集群里跑着训练任务和日志管道,PVC 块存储越堆越多:扩容量要等重建、多个 Pod 抢同一份数据时还要自己处理锁和拷贝。你查了一圈,发现这类工作负载真正需要的是一个 S3 兼容的对象存储后端——对象不上锁、随便共享、还能挂生命周期策略自动归档。于是你在集群里起了个 MinIO,但 AGPL 的许可条款让法务皱了眉,镜像里那些遥测也让数据主权强迫症难受。
杉岩数据18 天前
对象存储·硬盘涨价·存储降本·检测数据存储
机械硬盘价格高涨,制造企业基于分布式对象存储的降本方案在先进制造企业的生产车间里,质检环节产生的数据量正以惊人的速度膨胀。高分辨率的工业相机每秒捕获数百张图像,配合精密的传感器日志,一条产线一天就能生成数 TB 的数据。对很多工厂的 IT 负责人来说,这既是质量追溯的宝贵资产,也是存储预算的“无底洞”。不少企业最初为了快速上线,简单地在检测机台上挂载大容量本地硬盘,或者连接一台通用的 NAS 设备,结果没过半年就陷入了扩容焦虑:磁盘塞满导致停线风险、检索历史图片慢如蜗牛、硬件采购成本居高不下。
分布式存储与RustFS1 个月前
iceberg·对象存储·s3·分布式对象存储·rustfs·minio平替·s3 tables
对象存储正在吞掉数据湖:S3 Tables 把 Iceberg 收编成存储的原生能力一套 50TB 的 Iceberg 湖仓跑在 S3 上,某天一条 SELECT count(*) 跑了 40 秒。你以为是扫描慢,翻 metrics 才发现 80% 的时间花在 LIST 请求上——查询引擎为了拿到最新 manifest,把几万个小文件挨个列了一遍。这不是个例:当你把 data file、manifest file、独立 catalog(Glue / Unity / Nessie)分开养,湖仓的元数据就成了三套系统各自记账的「双重账本」。最近 MinIO 把 AIStor Tables 推
分布式存储与RustFS1 个月前
对象存储·分布式对象存储·rustfs·ai基础设施·ai存储·minio平替·开源对象存储
对象存储账单为什么比预期高 3 倍?S3 的 5 个隐性成本坑,以及怎么堵?一个真实工况:某团队把 20TB 备份和日志丢进一家 S3 兼容云,月底账单是当初按"存储单价 × 容量"算出来的 3 倍。复盘下来,多出来的钱几乎都不在存储单价里——出网流量、请求次数、一条忘了配的生命周期规则,每一项单独看都不大,叠起来就失控了。IDrive 刚发的 2026 性能报告把各家吞吐比得明明白白,可没哪家把"你实际要付多少"讲清楚。这篇把那些不在计算器里的钱,一项项算给你看。
分布式存储与RustFS3 个月前
rust·开源·iceberg·对象存储·rustfs·minio平替·s3 table
基于Rust的国产开源对象存储RustFS:S3 Table对Iceberg数据湖的适配详解目录一、传统对象存储适配Iceberg的核心痛点二、RustFS S3Table的核心适配设计思路三、RustFS S3Table适配Iceberg的核心落地优势
云存储小天使3 个月前
对象存储·沙箱
当 AI Agent 需要“记住”文件:MountPoint + newCOS 在沙箱场景的应用实践如果你用过元宝的 SKILL 功能,让它帮你写代码、处理文件、跑脚本,你有没有想过:AI 执行完之后,那些文件去哪了?
AOwhisky3 个月前
linux·运维·笔记·ceph·gateway·对象存储
Ceph系列第五期:Ceph 对象存储(RADOS Gateway)精讲前置要求:已有一个健康的 Ceph 集群(参考第二期),并了解基本的 Cephx 认证(第三期)。对象存储将数据存储为对象,每个对象包含三个部分:
分布式存储与RustFS3 个月前
人工智能·对象存储·rustfs·ai记忆·ai memory·minio国产替代·分布式存储实战
AI 多模态记忆数据:基于 RustFS 搭建分层高性能存储实战做 AI 应用研发的朋友,大概率都踩过非结构化数据存储的坑。随着业务跑起来,数据量一天比一天大,传统文件系统慢慢就扛不住了:写入吞吐上不去、随机读取延迟忽高忽低,元数据一多直接拖慢整体性能。
XSKY星辰天合3 个月前
数据湖·对象存储·分布式存储
从“能存下”到“训得动”:XSKY XEOS 支撑头部 AI 实验室建设 EB 级数据湖大模型规模化训练正加速推动 AI 数据湖突破规模临界点,也让企业和科研机构陷入一个核心困境:数据湖“能存下”不难,“存得统一、用得高效”却愈发艰难。
分布式存储与RustFS3 个月前
对象存储·分布式存储·rustfs·国产自研·轻量化存储·信创替代·minio替代
RustFS:国产对象存储的新希望近些年,信创国产化落地提速、AI小文件存储需求爆发,国内对象存储市场迎来全新变革期。但长期以来,国产开源对象存储一直存在明显短板:要么架构老旧、基于国外项目二次开发,核心技术不自主;要么性能孱弱、资源开销大,无法适配生产场景;要么协议受限、运维复杂,中小企业不敢轻易落地。随着MinIO社区版迭代停滞、商业门槛抬高、协议风险凸显,行业急需一款真正自研、轻量高效、稳定合规的国产平替方案。最近全新发布的RustFS Beta,彻底摆脱了传统国产存储的通病,凭借纯自研底层、Rust原生高性能架构、全场景信创适配、
分布式存储与RustFS4 个月前
对象存储·国产信创·rustfs·ai存储·minio平替·国产对象存储·开源存储
RustFS Beta 正式发布:从可用到稳定,对象存储国产替代迎来里程碑以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
云存储小天使4 个月前
腾讯云·对象存储·深度归档存储
构筑数据磐石:腾讯云自研磁带引擎技术剖析在全球化数字经济时代,数据已成为企业的核心资产,冷数据组成了其中的很大一部分,这些数据来源主要包括法律合规要求的交易记录、审计日志、医疗档案、科研数据,以及业务连续性所必需的数据库备份、系统镜像等。然而,数据的“冷”并不意味着其价值或重要性的降低。相反,各国政府与监管机构纷纷出台严格的数据合规性法案,要求企业将关键业务数据保存5年、10年甚至数十年之久。这把高悬的“合规之剑”使得企业必须寻求一种能够平衡合规存储和低成本存储的方案。在诸多备选方案中,磁带库的成本优势凸显无疑:
分布式存储与RustFS4 个月前
分布式·零基础·picgo·对象存储·minio·rustfs
Helm在Kubernetes上部署RustFS生产环境指南以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。