使用RedisShake迁移自建Redis数据至阿里云Redis

一、前言

最近有个需求,需要把自建的Redis数据迁移至阿里云的Redis RDS。阿里云有官方的数据传输服务DTS(Data Transmission Service)。全量迁移是免费的,但增量迁移需要按量收费,遂放弃。经过一番搜索,发现了一个RedisShake的工具,而这个也是阿里开源的,秒啊~

二、 RedisShake介绍

2.1 什么是 RedisShake

RedisShake 是一个用于处理和迁移 Redis 数据的工具,它提供以下特性:

  • Redis 兼容性:RedisShake 兼容从 2.8 到 7.2 的 Redis 版本,并支持各种部署方式,包括单机,主从,哨兵和集群。
  • 云服务兼容性 :RedisShake 与主流云服务提供商提供的流行 Redis-like 数据库无缝工作,包括但不限于:
    • 阿里云-云数据库 Redis 版
    • 阿里云-云原生内存数据库Tair
    • AWS - ElastiCache
    • AWS - MemoryDB
  • Module 兼容:RedisShake 与 TairString,TairZSet 和 TairHash 模块兼容。
  • 多种导出模式:RedisShake 支持 PSync,RDB 和 Scan 导出模式。
  • 数据处理:RedisShake 通过自定义脚本实现数据过滤和转换
2.1.1 迁移模式选择
  • 对于从备份中恢复数据的场景,可以使用 rdb_reader。
  • 对于数据迁移场景,优先选择 sync_reader。一些云厂商没有提供 PSync 协议支持,可以选择scan_reader。
  • 对于长期的数据同步场景,RedisShake 目前没有能力承接,因为 PSync 协议并不可靠,当复制连接断开时,RedisShake 将无法重新连接至源端数据库。如果对于可用性要求不高,可以使用 scan_reader。如果写入量不大,且不存在大 key,也可以考虑 scan_reader。
2.1.2 跨版本迁移

不要降低 Redis 版本迁移,比如从 6.0 降到 5.0,因为 RedisShake 每个大版本都会引入一些新的命令和新的编码方式,如果降低版本,可能会导致不兼容。

2.2 从哪里获取

Github仓库 https://github.com/tair-opensource/RedisShake

中文文档地址 https://tair-opensource.github.io/RedisShake/

Releases版本下载路径 https://github.com/tair-opensource/RedisShake/releases/

支持多个平台

  • redis-shake-darwin-amd64.tar.gz
  • redis-shake-darwin-arm64.tar.gz
  • redis-shake-linux-amd64.tar.gz
  • redis-shake-linux-arm64.tar.gz
  • redis-shake-windows-amd64.tar.gz
  • redis-shake-windows-arm64.tar.gz

同时也支持下载源码自行编译。

2.3 实操演示

首先下载 RedisShake,我们以v4.1.0为例,系统为CenterOS

shell 复制代码
wget https://github.com/tair-opensource/RedisShake/releases/download/v4.1.0/redis-shake-linux-amd64.tar.gz

解压缩

shell 复制代码
tar -zxvf redis-shake-linux-amd64.tar.gz

会得到两个文件

shell 复制代码
redis-shake 
shake.toml

shake.toml是配置文件,TOML语法,具体可查看文档。

修改配置

shell 复制代码
[root@~ redis-shake]# vim shake.toml
function = ""

# PSync模式
[sync_reader]
cluster = false            # 是否为集群模式
address = "127.0.0.1:6379"
username = ""         
password = "password1" 
tls = false
sync_rdb = true     # 同步全量数据
sync_aof = true     # 同步增量数据
prefer_replica = true

# Scan模式
#[scan_reader]
#cluster = false            
#address = "127.0.0.1:6379"
#username = ""              
#password = ""              
#tls = false
#dbs = []                   # 指定需要同步的database
#scan = true                
#ksn = false               
#count = 1                  # 每次扫描key的数量

# RDB 模式
# [rdb_reader]
# filepath = "/tmp/dump.rdb"

# [aof_reader]
# filepath = "/tmp/.aof"
# timestamp = 0              # subsecond

[redis_writer]
cluster = false            
sentinel = false           # 是否为哨兵模式
master = ""                
address = "192.168.1.2:6379" 
username = ""              
password = "password2"              
tls = false
off_reply = false       

[advanced]
dir = "data"
ncpu = 3        # CPU 核心数, 0表示不受限制
pprof_port = 0  # pprof访问端口, 0表示禁用
status_port = 0 # 状态检测访问端口, 0表示禁用

# log
log_file = "shake.log"
log_level = "info"     # debug, info, warn 可选
log_interval = 5  

# panic:   停止迁移.
# rewrite: 覆盖相同的key
# ignore:  跳过相同的key.
rdb_restore_command_behavior = "rewrite"

# 数据传输管道的大小限制.
pipeline_count_limit = 1024

# 客户端查询缓冲区大小,默认 1gb.
target_redis_client_max_querybuf_len = 1024_000_000

# In the Redis protocol, bulk requests, that are, elements representing single
# strings, are normally limited to 512 mb.
target_redis_proto_max_bulk_len = 512_000_000

# 针对AWS的Elasticache或MemoryDB的配置
aws_psync = ""

# 是否在传输前先清空目标数据
empty_db_before_sync = false

[module]
# BF.LOADCHUNK
target_mbbloom_version = 20603

配置文件修改好后保存,再运行

shell 复制代码
./redis-shake shake.toml

执行后会在同目录生成一个data的临时目录,日志文件也会在此目录保存,还有aof文件.

shell 复制代码
[root@~ data]# ls -lrt
total 3052
-rw------- 1 root root       0 Jun 19 17:32 pid.lockfile
drwxr-xr-x 2 root root    4096 Jun 19 19:30 reader_127.0.0.1_6379
-rw-r--r-- 1 root root 3116030 Jun 20 20:23 shake.log

同步日志如下

log 复制代码
[root@~ redis-shake]# ./redis-shake shake.toml
2024-06-19 18:29:55 INF load config from file: shake.toml
2024-06-19 18:29:55 INF log_level: [info], log_file: [/home/redis-shake/data/shake.log]l
2024-06-19 18:29:55 INF changed work dir. dir=[/home/redis-shake/data]
2024-06-19 18:29:55 INF set ncpu to 3
2024-06-19 18:29:55 INF set GOMAXPROCS to 3
2024-06-19 18:29:55 INF not set pprof port
2024-06-19 18:29:55 INF create ScanStandaloneReader: 127.0.0.1:6379
2024-06-19 18:29:55 INF create RedisStandaloneWriter: 192.168.1.2:6379
2024-06-19 18:29:55 INF not set status port
2024-06-19 18:30:00 INF start syncing...
2024-06-19 18:30:05 INF read_count=[6866], read_ops=[869.87], write_count=[6865], write_ops=[869.87], scan_dbid=[0], scan_percent=[5.61%], need_update_count=[99884]
2024-06-19 18:30:10 INF read_count=[10815], read_ops=[601.65], write_count=[10814], write_ops=[601.65], scan_dbid=[0], scan_percent=[5.82%], need_update_count=[99753]
2024-06-19 18:30:15 INF read_count=[13557], read_ops=[622.26], write_count=[13556], write_ops=[622.26], scan_dbid=[0], scan_percent=[5.96%], need_update_count=[99872]
2024-06-19 18:30:20 INF read_count=[18269], read_ops=[852.18], write_count=[18268], write_ops=[852.18], scan_dbid=[0], scan_percent=[6.21%], need_update_count=[99887]
2024-06-19 18:30:25 INF read_count=[22062], read_ops=[502.66], write_count=[22061], write_ops=[502.66], scan_dbid=[0], scan_percent=[6.40%], need_update_count=[99878]
2024-06-19 18:30:30 INF read_count=[25226], read_ops=[829.09], write_count=[25225], write_ops=[829.09], scan_dbid=[0],] scan_percent=[6.57%], need_update_count=[99801]
... ...
2024-06-19 18:31:45 INF read_count=[94883], read_ops=[935.01], write_count=[94882], write_ops=[935.01], scan_dbid=[0], scan_percent=[10.18%], need_update_count=[99897]
2024-06-19 18:31:50 INF read_count-[100268], read_ops=[1245.28], write_count=[100267], write_ops-[1245.28], scan_dbid-[0], scan_percent=[10.46%], need_update_count-[99757]
2024-06-19 18:31:55 INF read_count=[104976], read_ops=[738.58], write_count=[104975], write_ops=[738.58], scan_dbid=[0], scan_percent=[10.70%], need_update_count=[99880]
2024-06-19 18:32:00 INF read_count=[109798], read_ops=[994.45], write_count=[109797], write_ops=[994.45], scan_dbid=[0], scan_percent=[10.95%], need_update_count=[99769]

同步时不能结束进。同步完全量数据后,开始同步增量数据。

log 复制代码
2024-06-19 20:22:46 INF read_count=[1989683], read_ops=[1.00], write_count=[1989683], write_ops=[1.00], syncing aof, diff=[0]

这时可以正常切换Redis了。切换成功后等read_ops及write_ops为0时,就可以把自建的redis关闭了。

三、结束语

RedisShake确实很强大,使用时几乎不影响原有的业务稳定性。至于其他的模式我没有测试,大家可以尝试一下,好用的话帮忙点个赞,谢谢~

相关推荐
小曲曲40 分钟前
接口上传视频和oss直传视频到阿里云组件
javascript·阿里云·音视频
Dlwyz2 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存
工业甲酰苯胺4 小时前
Redis性能优化的18招
数据库·redis·性能优化
Oak Zhang7 小时前
sharding-jdbc自定义分片算法,表对应关系存储在mysql中,缓存到redis或者本地
redis·mysql·缓存
为什么每天的风都这么大7 小时前
Vscode/Code-server无网环境安装通义灵码
ide·vscode·阿里云·编辑器·ai编程·code-server
门牙咬脆骨7 小时前
【Redis】redis缓存击穿,缓存雪崩,缓存穿透
数据库·redis·缓存
门牙咬脆骨7 小时前
【Redis】GEO数据结构
数据库·redis·缓存
墨鸦_Cormorant9 小时前
使用docker快速部署Nginx、Redis、MySQL、Tomcat以及制作镜像
redis·nginx·docker
007php00710 小时前
GoZero 上传文件File到阿里云 OSS 报错及优化方案
服务器·开发语言·数据库·python·阿里云·架构·golang
Dlwyz12 小时前
问题: redis-高并发场景下如何保证缓存数据与数据库的最终一致性
数据库·redis·缓存