hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
lqlj223317 分钟前
spark和hadoop的对比和联系
大数据·hadoop·spark
睎zyl22 分钟前
Spark与Hadoop之间的联系和对比
大数据·hadoop·spark
小白的白是白痴的白1 小时前
4.21 spark和hadoop的区别与联系
大数据·hadoop·spark
哈哈真棒2 小时前
spark和Hadoop的区别与联系
大数据·hadoop·spark
哈哈la2 小时前
spark和hadoop的区别
大数据·hadoop·spark
CONTONUE2 小时前
spark和Hadoop的区别和联系
hadoop·spark
IT成长日记2 小时前
【Hive入门】Hive架构与组件深度解析:从核心组件到生态协同
hive·hadoop·架构·架构与组件
D愿你归来仍是少年11 小时前
使用 PySpark 批量清理 Hive 表历史分区
大数据·数据仓库·hive·spark
End92811 小时前
Hadoop的三大结构及其作用?
大数据·hadoop·分布式
461K.15 小时前
spark与hadoop的区别
大数据·运维·hadoop·分布式·spark·intellij-idea