对象存储

AOwhisky9 天前
linux·运维·笔记·ceph·gateway·对象存储
Ceph系列第五期:Ceph 对象存储(RADOS Gateway)精讲前置要求:已有一个健康的 Ceph 集群(参考第二期),并了解基本的 Cephx 认证(第三期)。对象存储将数据存储为对象,每个对象包含三个部分:
分布式存储与RustFS12 天前
人工智能·对象存储·rustfs·ai记忆·ai memory·minio国产替代·分布式存储实战
AI 多模态记忆数据:基于 RustFS 搭建分层高性能存储实战做 AI 应用研发的朋友,大概率都踩过非结构化数据存储的坑。随着业务跑起来,数据量一天比一天大,传统文件系统慢慢就扛不住了:写入吞吐上不去、随机读取延迟忽高忽低,元数据一多直接拖慢整体性能。
XSKY星辰天合17 天前
数据湖·对象存储·分布式存储
从“能存下”到“训得动”:XSKY XEOS 支撑头部 AI 实验室建设 EB 级数据湖大模型规模化训练正加速推动 AI 数据湖突破规模临界点,也让企业和科研机构陷入一个核心困境:数据湖“能存下”不难,“存得统一、用得高效”却愈发艰难。
分布式存储与RustFS23 天前
对象存储·分布式存储·rustfs·国产自研·轻量化存储·信创替代·minio替代
RustFS:国产对象存储的新希望近些年,信创国产化落地提速、AI小文件存储需求爆发,国内对象存储市场迎来全新变革期。但长期以来,国产开源对象存储一直存在明显短板:要么架构老旧、基于国外项目二次开发,核心技术不自主;要么性能孱弱、资源开销大,无法适配生产场景;要么协议受限、运维复杂,中小企业不敢轻易落地。随着MinIO社区版迭代停滞、商业门槛抬高、协议风险凸显,行业急需一款真正自研、轻量高效、稳定合规的国产平替方案。最近全新发布的RustFS Beta,彻底摆脱了传统国产存储的通病,凭借纯自研底层、Rust原生高性能架构、全场景信创适配、
分布式存储与RustFS1 个月前
对象存储·国产信创·rustfs·ai存储·minio平替·国产对象存储·开源存储
RustFS Beta 正式发布:从可用到稳定,对象存储国产替代迎来里程碑以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
云存储小天使1 个月前
腾讯云·对象存储·深度归档存储
构筑数据磐石:腾讯云自研磁带引擎技术剖析在全球化数字经济时代,数据已成为企业的核心资产,冷数据组成了其中的很大一部分,这些数据来源主要包括法律合规要求的交易记录、审计日志、医疗档案、科研数据,以及业务连续性所必需的数据库备份、系统镜像等。然而,数据的“冷”并不意味着其价值或重要性的降低。相反,各国政府与监管机构纷纷出台严格的数据合规性法案,要求企业将关键业务数据保存5年、10年甚至数十年之久。这把高悬的“合规之剑”使得企业必须寻求一种能够平衡合规存储和低成本存储的方案。在诸多备选方案中,磁带库的成本优势凸显无疑:
分布式存储与RustFS2 个月前
分布式·零基础·picgo·对象存储·minio·rustfs
Helm在Kubernetes上部署RustFS生产环境指南以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
切糕师学AI2 个月前
对象存储·oss·云存储·object storage
深入解析对象存储(Object Storage):概念、架构、应用与对比对象存储(Object Storage)是一种专为海量非结构化数据设计的分布式存储架构。它采用扁平化命名空间和基于HTTP/HTTPS的访问协议,与传统的文件存储和块存储形成鲜明互补。本文将从核心概念、技术原理、功能特点、主流服务商、典型应用场景及挑战等多个维度,全面介绍对象存储技术。
分布式存储与RustFS2 个月前
人工智能·阿里云·云计算·对象存储·oss·rustfs·minio平替
S3 协议兼容性实测:RustFS vs MinIO vs 阿里云 OSS,谁能完美适配 AI 训练与跨云迁移?以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS2 个月前
架构·rust·开源·对象存储·minio·企业存储·rustfs
MinIO迎来“恶龙”?RustFS这款开源存储简直“不讲武德”当开源存储的“老国王”开始修筑付费城墙,一位来自Rust生态的挑战者,正用性能与开放的重剑,劈开新的道路。
分布式存储与RustFS2 个月前
对象存储·rustfs·ai存储·minio平替·小文件处理·亿级文件·元数据优化
RustFS vs MinIO 小文件处理对决:亿级文件场景下,元数据优化与 IOPS 提升实战以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS2 个月前
对象存储·鲲鹏·国产信创·rustfs·minio国产化替代·minio平替·信创存储
RustFS 信创环境落地全指南:适配麒麟 / 统信系统,对接鲲鹏芯片,附部署踩坑实录以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS2 个月前
对象存储·s3·企业存储·rustfs·minio国产化替代·minio平替·国产对象存储rustfs
MinIO 社区版 vs 企业版 vs RustFS:2026 全面拆解,AGPL 协议风险与信创适配必看以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS2 个月前
对象存储·单机部署·rustfs·minio平替·轻量化存储·windows原生·开发测试
对象存储轻量化部署趋势:RustFS 单机版 vs MinIO 单机版,开发测试场景最优选择以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS2 个月前
人工智能·性能优化·架构·对象存储·minio·企业存储·rustfs
AI 数据湖最佳实践:RustFS 支撑大模型训练的存储架构与性能优化大模型训练已进入 “万卡时代”,GPU 算力飞速增长,但存储 I/O 瓶颈已成为制约训练效率的核心痛点 ——GPU 常因等待数据空转,利用率不足 50%。本文基于 RustFS 构建 AI 数据湖,从架构设计、数据组织、性能调优、Checkpoint 管理四大核心维度,深度解析如何解决大模型训练中的海量小文件、高并发读取、TB 级 Checkpoint等关键挑战。通过零拷贝 IO、自适应预读、分布式缓存等技术,实现 GPU 利用率提升至 90%+、训练加速 50% 的工程实践,为 LLaMA 3、Qwen
分布式存储与RustFS2 个月前
windows·docker·容器·对象存储·minio·企业存储·rustfs
Windows原生版RustFS:无需Docker,1分钟本地对象存储环境搭建目录一、Windows原生版核心优势(实测总结)二、适用场景(明确不踩坑)三、系统要求(Windows专属,门槛极低)
问道飞鱼2 个月前
分布式·对象存储·rustfs
【分布式技术】分布式对象存储服务RustFS选择 RustFS 而非继续使用 MinIO,主要基于以下四点考量:RustFS 的架构设计摒弃了传统的“主-从”或“元数据服务器-数据节点”模式,采用了完全对等的分布式网格架构。
分布式存储与RustFS2 个月前
开源·apache·数据安全·对象存储·minio·企业存储·rustfs
RustFS永久开源承诺深度解读:Apache 2.0协议、商业化边界、社区可信度在MinIO协议变更、社区版功能阉割、进入维护模式的行业背景下,RustFS于2026年初正式发布永久开源承诺,明确核心仓库采用Apache 2.0协议永久开源,以"核心开源+企业增值服务"的模式构建商业化路径。这份承诺不仅是对开源精神的坚守,更是在存储行业信任危机中,为企业与开发者提供的一份稳定、合规、可长期依赖的技术底座。本文从协议本质、商业化边界、社区可信度三大维度,全面拆解RustFS永久开源的底层逻辑与实际价值。
舒一笑2 个月前
对象存储
我用一行命令,把 OSS 私有文件变成“可直接下载的公网链接”(很多人不会)真实场景👇 客户一句话需求: 👉 “这些文件在 OSS 里,你给我一批能直接下载的链接,我要发给别人”
浮生札记3 个月前
python·腾讯云·fastapi·对象存储
腾讯云 COS STS 临时密钥上传基于原始 STS 临时密钥脚本,封装为 FastAPI HTTP 接口,可通过请求获取临时上传凭证上传图片至存储桶。