用 rclone 把现有 S3/MinIO 数据同步到 RustFS

有套 MinIO 跑了两年,里面是数据库备份和客户交付物。你想在 RustFS 上再做一份异地副本,万一主存储出问题能拉得回来。不想写迁移脚本,也不想引入新组件------rclone 一个二进制就够。

RustFS 是 100% S3 兼容的,rclone 的 S3 后端对着自定义 endpoint 直接用,不用等特殊适配。下面是一份可复制的配置。


1. 配置 rclone 连 RustFS

rclone 对自建 endpoint 默认走 path-style 寻址,配上 RustFS 的地址和凭证即可:

bash 复制代码
rclone config create rustfs s3 \
  provider=Other \
  endpoint=http://rustfs.internal:9000 \
  access_key_id=rustfsadmin \
  secret_access_key=rustfsadmin \
  acl=private

provider=Other 告诉 rclone 这是兼容 S3 的第三方,endpoint 指向 RustFS 的 9000 端口。另一端(你的 MinIO 或源 S3)同样建一个 remote,比如叫 src。


2. 先 dry-run,再全量

任何迁移第一步都是干跑,确认两边能通、清单对得上:

bash 复制代码
rclone copy src:my-bucket rustfs:my-bucket --dry-run -P
rclone copy src:my-bucket rustfs:my-bucket -P

copy 是单向、不删目标;想让目标严格等于源(多出的删掉),用 sync------但 sync 会删目标里源没有的对象,生产务必先 --dry-run 看清楚要删什么。


3. 不可变备份:叠加对象锁

如果这份副本是用来防勒索、防误删的,打开 RustFS 的对象锁(WORM),再用 rclone 的 --immutable 让备份对象禁止覆盖和删除:

bash 复制代码
rclone copy src:my-bucket rustfs:my-bucket --immutable -P

--immutable 会让 rclone 跳过已存在对象、且要求目标支持不可变,正好和对象锁配合出"写一次、锁一年"的防篡改副本。代价是锁定期内对象占着空间、不能改,适合合规归档而非热数据。


4. 定时增量:cron 一行

全量跑完之后,日常用增量同步保活。rclone 对大桶开 --fast-list 少打 LIST 请求,调 --transfers/--checkers 提并发:

bash 复制代码
0 3 * * * rclone copy src:my-bucket rustfs:my-bucket \
  --fast-list --ignore-existing --log-file /var/log/rclone-backup.log -P

RustFS 的版本控制如果开着,rclone 覆盖同名对象会留历史版本,误删也能回退------但副本侧开了版本控制,存储会随版本涨,记得配生命周期清冷版本。


5. 边界:sync 会删、网络要算

  • sync 是破坏性的 :它让目标等于源,源没有的对象会被删。备份场景宁可用 copy + --ignore-existing,或 sync 前先 --dry-run。
  • 网络与凭证 :跨机房同步走公网要算带宽和费用;RustFS 默认账号 rustfsadmin/rustfsadmin 暴露即裸奔,remote 里的密钥生产用专用账号。
  • 大桶调优 :对象上亿时单靠默认参数会慢,--fast-list + 调 --transfers 是必要的,别指望一条命令秒完。

这些都是 rclone + 任意 S3 存储的通用功课,不是 RustFS 的坑。官方文档和 rclone 手册都公开,动手前翻一遍。


6. 总结与下一步

  • RustFS 是 S3 兼容的,rclone 的 S3 后端配 endpoint 直接用,不用特殊适配。
  • 流程:config 建 remote → copy --dry-run 验证 → copy 全量 → --immutable + 对象锁出不可变备份 → cron 增量。
  • 边界:sync 会删目标、跨机房算带宽、大桶要 --fast-list 调并发。

下一步:按第 1 节建 rustfs remote,挑一个非生产桶跑 rclone copy --dry-run 看清单,通了再去掉 --dry-run 全量同步。


以下是深入学习 RustFS 的推荐资源:RustFS

官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。

GitHub 仓库: GitHub 仓库 - 获取源代码、提交问题或贡献代码。

社区支持: GitHub Discussions- 与开发者交流经验和解决方案。

意见反馈:GitHub Issues

相关推荐
专业程序开发源3 分钟前
springboot高校学生社团管理系统74810-计算机课程设计、毕业设计
java·vue.js·spring boot·后端·spring·php·课程设计
励志不掉头发的内向程序员8 分钟前
【LibreCAD 2D架构】从鼠标点击到屏幕像素:LibreCAD绘图架构全链路解析之整体架构与源码组织
后端
专业程序开发源1 小时前
springboot生命故事书制作小程序65290-计算机课程设计、毕业设计
java·vue.js·spring boot·后端·mysql·小程序·课程设计
AINative软件工程1 小时前
LLM Prompt Registry 工程实践:集中管理 Prompt,让模型调用不再散落在代码各处
后端·python·llm
IT_陈寒2 小时前
SpringBoot自动配置的坑我帮你踩过了
前端·人工智能·后端
vx_Biye_Design2 小时前
springboot角色扮演服务平台65161-计算机课程设计、毕业设计
java·vue.js·spring boot·后端·python·spring·课程设计
miofly2 小时前
GitHub 日榜趋势速报 | 2026-10-05
开源·github
m4Rk_2 小时前
【论文阅读】Agent 记忆机制(90):HyperMem——用超图建模长期记忆中的高阶关联
论文阅读·人工智能·学习·开源·github
vx_Biye_Design2 小时前
springboot咖啡厅顾客点单管理系统12080-计算机课程设计、毕业设计
java·vue.js·spring boot·后端·spring·课程设计·express
专业程序开发源2 小时前
flask动漫推荐系统32319-计算机课程设计、毕业设计
java·spring boot·后端·django·flask·php·课程设计