HBase snapshot+replication 测试

一、背景

画像标签服务(CDP)是核心服务,被公司其他系统如现金、电商、风控等核心业务调用。异常的话,影响范围大。

二、目标

存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试

方案二测试,两个独立HBase集群,snapshot+replication

(1)存量数据迁移 (snapshot)

1、同步数据到目标hbase集群

shell 复制代码
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128


以上命令产生的 Yarn 任务:

2、在目标hbase集群上查询数据

shell 复制代码
restore_snapshot 'test_20240315_1'
scan 'test'

(2)增量数据同步 (replication)

1、原集群上执行。增加从集群。

shell 复制代码
add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

2、原集群上执行。修改表属性,设置复制目标从集群。

shell 复制代码
alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

3、原集群上执行。写入数据。

4、从集群上执行。从集群确认数据同步成功。

相关推荐
阿里云大数据AI技术26 分钟前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
城北徐宫2 小时前
MySQL数据类型整理
数据库·mysql
数据库小学妹3 小时前
数据库容量规划:四个数与扩容触发线
运维·数据库·后端
武子康3 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
时间的拾荒人3 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
软件技术NINI4 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
纆兰6 小时前
MySQL的多表查询
数据库·mysql
七夜zippoe6 小时前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
wuyk5556 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
进击的荆棘6 小时前
MySQL——表的操作
数据库·mysql