HBase snapshot+replication 测试

一、背景

画像标签服务(CDP)是核心服务,被公司其他系统如现金、电商、风控等核心业务调用。异常的话,影响范围大。

二、目标

存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试

方案二测试,两个独立HBase集群,snapshot+replication

(1)存量数据迁移 (snapshot)

1、同步数据到目标hbase集群

shell 复制代码
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128


以上命令产生的 Yarn 任务:

2、在目标hbase集群上查询数据

shell 复制代码
restore_snapshot 'test_20240315_1'
scan 'test'

(2)增量数据同步 (replication)

1、原集群上执行。增加从集群。

shell 复制代码
add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

2、原集群上执行。修改表属性,设置复制目标从集群。

shell 复制代码
alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

3、原集群上执行。写入数据。

4、从集群上执行。从集群确认数据同步成功。

相关推荐
川石课堂软件测试2 小时前
MySQL数据库之DBA命令
数据库·网络协议·mysql·http·单元测试·prometheus·dba
ybb_ymm4 小时前
mysql8在linux下的默认规则修改
linux·运维·数据库·mysql
倔强的石头_5 小时前
Navicat Premium 与金仓数据库融合实践:高效管理国产数据库新方案
数据库
程序新视界5 小时前
为什么要尽量将MySQL表字段要设置为NOT NULL?
数据库·mysql·dba
zskj_qcxjqr5 小时前
七彩喜艾灸机器人:当千年中医智慧遇上现代科技
大数据·人工智能·科技·机器人
怪兽20145 小时前
SQL优化手段有哪些
java·数据库·面试
lypzcgf6 小时前
FastbuildAI后端数据库模块注册分析
数据库·ai应用·ai创业·智能体平台·ai应用平台·agent平台·fastbuildai
xyy20257 小时前
Spring事务的传播方式
java·数据库·spring
非凡的世界7 小时前
Thinkphp8 Redis队列与消息队列topthink/think-queue 原创
数据库·redis·bootstrap·thinkphp