HBase snapshot+replication 测试

bigdata-余建新2024-08-14 6:01

一、背景

画像标签服务（CDP）是核心服务，被公司其他系统如现金、电商、风控等核心业务调用。异常的话，影响范围大。

二、目标

存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试

方案二测试，两个独立HBase集群，snapshot+replication

（1）存量数据迁移 (snapshot)

1、同步数据到目标hbase集群

shell 复制代码

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128

以上命令产生的 Yarn 任务：

2、在目标hbase集群上查询数据

shell 复制代码

restore_snapshot 'test_20240315_1'
scan 'test'

（2）增量数据同步 (replication)

1、原集群上执行。增加从集群。

shell 复制代码

add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

2、原集群上执行。修改表属性，设置复制目标从集群。

shell 复制代码

alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

3、原集群上执行。写入数据。

4、从集群上执行。从集群确认数据同步成功。