HBase snapshot+replication 测试

一、背景

画像标签服务(CDP)是核心服务,被公司其他系统如现金、电商、风控等核心业务调用。异常的话,影响范围大。

二、目标

存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试

方案二测试,两个独立HBase集群,snapshot+replication

(1)存量数据迁移 (snapshot)

1、同步数据到目标hbase集群

shell 复制代码
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128


以上命令产生的 Yarn 任务:

2、在目标hbase集群上查询数据

shell 复制代码
restore_snapshot 'test_20240315_1'
scan 'test'

(2)增量数据同步 (replication)

1、原集群上执行。增加从集群。

shell 复制代码
add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

2、原集群上执行。修改表属性,设置复制目标从集群。

shell 复制代码
alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

3、原集群上执行。写入数据。

4、从集群上执行。从集群确认数据同步成功。

相关推荐
呼哧呼哧.2 小时前
Spring的核心思想与注解
数据库·sql·spring
21号 13 小时前
9.Redis 集群(重在理解)
数据库·redis·算法
爬山算法3 小时前
Redis(73)如何处理Redis分布式锁的死锁问题?
数据库·redis·分布式
嘗_3 小时前
sql特训
数据库·sql
IT小哥哥呀3 小时前
电池制造行业数字化实施
大数据·制造·智能制造·数字化·mom·电池·信息化
Xi xi xi4 小时前
苏州唯理科技近期也正式发布了国内首款神经腕带产品
大数据·人工智能·经验分享·科技
wan5555cn4 小时前
周末之美:慢下来,拥抱生活的温柔
数据库
yumgpkpm4 小时前
华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南
大数据·数据库·mysql·华为·oracle·kafka·cloudera
1024小神4 小时前
为已有nextjs项目添加supabase数据库,不再需要冗余后端
数据库
best_virtuoso5 小时前
PostgreSQL PostGIS安装与配置,现有数据库启用PostGIS扩展
数据库·postgresql