技术栈
对象存储
分布式存储与RustFS
19 小时前
对象存储
·
单机部署
·
rustfs
·
minio平替
·
轻量化存储
·
windows原生
·
开发测试
对象存储轻量化部署趋势:RustFS 单机版 vs MinIO 单机版,开发测试场景最优选择
以下是深入学习 RustFS 的推荐资源:RustFS官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
分布式存储与RustFS
1 天前
人工智能
·
性能优化
·
架构
·
对象存储
·
minio
·
企业存储
·
rustfs
AI 数据湖最佳实践:RustFS 支撑大模型训练的存储架构与性能优化
大模型训练已进入 “万卡时代”,GPU 算力飞速增长,但存储 I/O 瓶颈已成为制约训练效率的核心痛点 ——GPU 常因等待数据空转,利用率不足 50%。本文基于 RustFS 构建 AI 数据湖,从架构设计、数据组织、性能调优、Checkpoint 管理四大核心维度,深度解析如何解决大模型训练中的海量小文件、高并发读取、TB 级 Checkpoint等关键挑战。通过零拷贝 IO、自适应预读、分布式缓存等技术,实现 GPU 利用率提升至 90%+、训练加速 50% 的工程实践,为 LLaMA 3、Qwen
分布式存储与RustFS
5 天前
windows
·
docker
·
容器
·
对象存储
·
minio
·
企业存储
·
rustfs
Windows原生版RustFS:无需Docker,1分钟本地对象存储环境搭建
目录一、Windows原生版核心优势(实测总结)二、适用场景(明确不踩坑)三、系统要求(Windows专属,门槛极低)
问道飞鱼
7 天前
分布式
·
对象存储
·
rustfs
【分布式技术】分布式对象存储服务RustFS
选择 RustFS 而非继续使用 MinIO,主要基于以下四点考量:RustFS 的架构设计摒弃了传统的“主-从”或“元数据服务器-数据节点”模式,采用了完全对等的分布式网格架构。
分布式存储与RustFS
9 天前
开源
·
apache
·
数据安全
·
对象存储
·
minio
·
企业存储
·
rustfs
RustFS永久开源承诺深度解读:Apache 2.0协议、商业化边界、社区可信度
在MinIO协议变更、社区版功能阉割、进入维护模式的行业背景下,RustFS于2026年初正式发布永久开源承诺,明确核心仓库采用Apache 2.0协议永久开源,以"核心开源+企业增值服务"的模式构建商业化路径。这份承诺不仅是对开源精神的坚守,更是在存储行业信任危机中,为企业与开发者提供的一份稳定、合规、可长期依赖的技术底座。本文从协议本质、商业化边界、社区可信度三大维度,全面拆解RustFS永久开源的底层逻辑与实际价值。
舒一笑
10 天前
对象存储
我用一行命令,把 OSS 私有文件变成“可直接下载的公网链接”(很多人不会)
真实场景👇 客户一句话需求: 👉 “这些文件在 OSS 里,你给我一批能直接下载的链接,我要发给别人”
浮生札记
17 天前
python
·
腾讯云
·
fastapi
·
对象存储
腾讯云 COS STS 临时密钥上传
基于原始 STS 临时密钥脚本,封装为 FastAPI HTTP 接口,可通过请求获取临时上传凭证上传图片至存储桶。
coder_lorraine
19 天前
对象存储
·
rustfs
告别复杂存储!3分钟部署RustFS上线!
🎉🎉🎉欢迎来到我们的博客!无论您是第一次访问,还是我们的老朋友,我们都由衷地感谢您的到来。无论您是来寻找灵感、获取知识,还是单纯地享受阅读的乐趣,我们都希望您能在这里找到属于自己的收获,也欢迎评论和留言,分享您的想法和见解。
hhzz
2 个月前
阿里云
·
对象存储
·
oss
·
企业网站托管
基于对象存储OSS实现企业门户网站托管
⚡⚡⚡ 新年新文⚡⚡⚡本文是为了帮助企业门户网站上云而设计,实验使用HTML完成网站前端页面的编辑和呈现,使用OSS完成网站静态页面的托管和视频图片等文件资源的托管;同时,企业门户网站需要针对不同的访问用户设置不同类型的访问权限,需要对重要数据进行落盘加密,加强数据安全;另外,网站还需要支持用户在线处理图片、支持对文件进行版本管理、支持全球访问传输加速等优化访问体验的功能。网站架构如下:
云上空
2 个月前
unity
·
腾讯云
·
webgl
·
游戏开发
·
对象存储
·
网页托管
腾讯云使用对象存储托管并分享WebGL小游戏(unity3d)(需要域名)
注意,需要有自己的域名才可以使用这个服务进行托管。要进行分发测试游戏原型,比较好的方案便是直接通过WebGL游戏(也就是网页游戏)进行分发。只需他人点击链接即可立刻游玩而不像其他游戏需要传到网盘再让人下载,玩家根本没有耐心下载。而Itch.io、summer.io对我们来说是不可用的,因为用户的网络无法正常访问,所以我们要托管到自己的网站上。
DO_Community
2 个月前
运维
·
服务器
·
ai
·
aws
·
对象存储
·
云服务
·
金融科技
如何选择对象存储?Amazon S3 与 DigitalOcean Spaces 深度解析
从金融科技初创公司和SaaS提供商,到人工智能公司和电商平台,各类企业都依赖云对象存储来存储和管理其关键数据。企业使用云存储来存储应用程序源代码、训练好的机器学习模型、客户财务数据、应用程序日志和自动备份等资产。市场上有众多云存储选项,每个都有其独特的功能和定价模式,因此根据公司需求选择合适的解决方案是一个重要的决策。
分布式存储与RustFS
3 个月前
开发语言
·
人工智能
·
rust
·
对象存储
·
企业存储
·
rustfs
·
minio国产化替代
RustFS在AI场景下的实测:从GPU到存储的完整加速方案
随着大模型训练和AI推理的爆发式增长,存储系统正成为AI基础设施的瓶颈之一。我们团队最近在测试中发现,一个看似不起眼的配置优化,竟然让模型加载时间从45秒缩短到了8秒。
云存储小天使
3 个月前
腾讯云
·
对象存储
·
数据迁移
迁移上云腾讯云 COS 全指南:方案选择与实施策略
随着企业业务的多元化发展和成本优化需求的日益增强,不少的企业开始审视其云服务架构,并选择将数据迁移至腾讯云 COS(对象存储服务)。选择腾讯云 COS 的核心优势如下:
分布式存储与RustFS
3 个月前
rust
·
开源项目
·
对象存储
·
企业存储
·
rustfs
·
minio国产化替代
MinIO社区版“躺平”,RustFS能接棒吗?
说实话,这个问题最近在技术圈子里都快聊烂了。2025年MinIO那波操作,确实让不少用着开源版的团队心里一紧。一边是日渐僵化的技术栈和潜在的AGPLv3法律风险,另一边是那个性能猛兽RustFS的闪亮登场。
飞翔沫沫情
3 个月前
docker
·
容器
·
docker-compose
·
对象存储
·
minio
MinIO 新版本 Docker 部署指南:告别 Web 控制台,拥抱 CLI 管理
Web 控制台功能阉割:开源社区版本分发调整:上面的容器都内置了 mc命令,使用一个 JSON 格式的配置文件来存储 某些类型的信息,比如为每个配置的 S3 兼容服务 设置的 别名。 mc 的配置文件也都持久化了,可直接使用,管理 minio
飞翔沫沫情
3 个月前
对象存储
·
minio
记一次 minio 排障
中午接到开发反馈,生产上无法上传附件。接口显示 minio 问题,超时,无法访问有人反馈说是,ext4 文件系统,目录的索引(HTree)已达到默认的最大层级;
Miya_Ye
3 个月前
对象存储
·
seedweedfs
SeedWeedfs学习
MinIo 2025-10 起已明确把“社区版”降格为维护模式,并同步收紧了交付方式与功能范围;同时,官方把研发重心全部转向付费的商业版(AIStor)
分布式存储与RustFS
3 个月前
开源
·
对象存储
·
minio
·
企业存储
·
rustfs
担心 MinIO 维护影响业务?三行配置实现到 RustFS 的无感切换
就在近日,开源对象存储的“当红炸子鸡”MinIO 官方在 README 中正式宣布项目进入“维护模式”,不再接受新功能。但这不意味着 S3 兼容存储的终结,反而催生了一颗更强大的新星——RustFS。好消息是,从 MinIO 迁移到 RustFS,可能只需要三行配置的改变。
云存储小天使
3 个月前
腾讯云
·
对象存储
·
向量存储桶
让 AI 更普惠:向量存储桶为海量 AI 记忆提供高性价比的 “数字基石”
在人工智能技术以前所未有的速度重塑各行各业的今天,一个核心矛盾日益凸显:一方面,大模型与 AI 应用展现出惊人的潜力,正从 “炫技” 走向 “赋能千行百业”;另一方面,其高昂的部署与运营成本,尤其是处理海量私有数据时产生的巨额存储与检索开销,成为了许多企业,特别是中小企业和开发者拥抱 AI 的现实门槛。让 AI 技术从少数科技巨头的 “奢侈品”,变为惠及更广泛开发者和企业的 “日用品”,是推动产业智能化的关键。
沫离程序圈
3 个月前
对象存储
·
数据迁移
·
rclone
·
rustfs
·
minio / s3
·
s3 对象存储实战
[实战] 50TB 数据“物理导入” RustFS/S3 失败后,我如何用 Localhost 跑满 IO?
最近在负责一个数据存储平台的搭建,底层存储选型使用了 RustFS(一个兼容 S3 协议的分布式文件系统)。我们面临一个棘手的初始化问题: 手里有 50TB 的历史存量数据,静静地躺在服务器的硬盘目录里。