Docker Minio rclone数据迁移

一个小浪吴啊2024-07-27 8:46

docker minio进行数据迁移

使用rclone进行数据迁移是一种非常灵活且强大的方式，特别是在处理大规模数据集或跨云平台迁移时。rclone是一款开源的命令行工具，用于同步文件和目录到多种云存储服务，包括MinIO。下面是使用rclone进行数据迁移至MinIO的步骤和示例。

使用rclone迁移

下载地址

https://rclone.org/downloads/

安装配置

bash 复制代码

#安装rmp
rpm -ivh rclone-v1.66.0-linux-amd64.rpm
#配置rclone
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf

文件内容：

bash 复制代码

[old]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000

[new]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000

查看配置信息

bash 复制代码

rclone config show

迁移命令

bash 复制代码

rclone sync -P old:bucket new:bucket

copy和sync命令的区别：

copy：增量复制，源文件删除再进行同步，新地址不会删除；

sync：同步数据，源服务某个文件被删除，新服务中对应文件也被删除。