rclone实现数据迁移、备份还原

目录

一、安装

官方下载地址:https://rclone.org/downloads/

ruby 复制代码
wget https://downloads.rclone.org/rclone-current-linux-amd64.zip --no-check-certificate
unzip rclone-current-linux-amd64.zip
cd rclone-v1.68.0-linux-amd64/
cp rclone /usr/bin/

二、配置

ruby 复制代码
mkdir -p ~/.config/rclone
vim /root/.config/rclone/rclone.conf
 
[st]
type = s3
provider = Minio
env_auth = false
access_key_id = admin
secret_access_key = xxxxxxxx
region = cn-east-1
endpoint = http://st.minio.dev2:9000
 
[test]
type = s3
provider = Minio
env_auth = false
access_key_id = admin
secret_access_key = xxxxxxxx
region = cn-east-2
endpoint = http://192.168.180.37:39080

三、备份还原(sync可实现bucket删除了,本地备份也删除)

1、备份

copy和sync命令均可以用于迁移,区别:

  • copy:增量复制,只复制目的端缺少的。例如两端数据一样后,源端删除了某个文件a.txt,再执行一次copy,目的端对应的文件a.txt仍然存在;
  • sync:同步,会将目的端同步为源端的情况,会删除目的端中源端没有的文件。例如两端数据一样后,源端删除了某个文件a.txt,再执行一次sync,目的端对应的文件a.txt也会被删掉。

sync

rclone sync有两个常用的选项,建议带上 --dry-run 命令来确认自己的配置没有问题:

-P 显示详细同步进度条

--dry-run 用作命令测试,不会真正的执行同步

指定-P命令后的进度输出如下,可以看到实时网速和文件数量/大小。

1、备份整个minio

ruby 复制代码
# 文件夹不存在会自动创建
[root@test2 miniobaktest]#  rclone sync -P --transfers 2 --checkers 4 test:/ /root/miniobaktest/data_$(date +%Y%m%d)/
Transferred:      578.703 KiB / 578.703 KiB, 100%, 0 B/s, ETA -
Transferred:            8 / 8, 100%
Elapsed time:         0.0s

2、备份其中一个bucket

ruby 复制代码
# 文件夹不存在会自动创建
[root@test2 miniobaktest]# rclone sync -P test:/bucket2 /root/miniobaktest/backup/data_$(date +%Y%m%d)/bucket2

copy

ruby 复制代码
# 同步test:bucket1目录下,文件夹为var的全部文件
rclone copy -P test:bucket1  /root/miniobaktest/backup/data_$(date +%Y%m%d)/bucket1 --include "/{var}/**" --checkers=8 --buffer-size=200M  --transfers=16

2、还原

ruby 复制代码
[root@test2 miniobaktest]# rclone sync -P /root/miniobaktest/backup/data_$(date +%Y%m%d)/  test:/
Transferred:      578.703 KiB / 578.703 KiB, 100%, 0 B/s, ETA -
Transferred:            8 / 8, 100%
Elapsed time:         0.0s

四、常用命令

常用命令:https://rclone.org/commands/

相关推荐
1.01^100013 天前
[7-01-03].SpringBoot3集成MinIo
minio
陌路物是人非19 天前
MinIo前后端实现
java·docker·html·minio
GIS程序媛—椰子20 天前
MinIO问题总结(持续更新)
minio
亚林瓜子1 个月前
Minio安装(Docker Compose方式)
运维·docker·容器·minio·compose
小萌新上大分1 个月前
Minio搭建并在SpringBoot中使用完成用户头像的上传
java·spring boot·后端·minio·minio搭建·头像上传·minio入门
S-X-S2 个月前
「2024 博客之星」自研Java框架 Sunrays-Framework 使用教程
java·rabbitmq·springboot·web·log4j2·minio·脚手架
牛马程序员‍3 个月前
Day97 minio
java·对象存储·minio·oss
S-X-S3 个月前
【分布式文件存储系统Minio】2024.12保姆级教程
分布式·minio
CTGU_ 21_ emo~~~~3 个月前
在 Ubuntu 上搭建 MinIO 服务器
linux·后端·ubuntu·minio
spcodhu3 个月前
在 Ubuntu 上搭建 MinIO 服务器
linux·后端·minio