hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
houzhizhen3 小时前
Hive PredicatePushDown 谓词下推规则的计算逻辑
hive
兔子坨坨4 小时前
详细了解HDFS
大数据·hadoop·hdfs·big data
后端码匠8 小时前
【Hadoop】伪分布式安装
大数据·hadoop·分布式
Freedom℡11 小时前
Spark,连接MySQL数据库,添加数据,读取数据
数据库·hadoop·spark
Pluto_CSND12 小时前
hbase shell的常用命令
大数据·数据库·hbase
.又是新的一天.14 小时前
02_Servlet
hive·hadoop·servlet
wuli玉shell14 小时前
Bitmap原理及Hive去重方式对比
数据仓库·hive·hadoop
Hello World......18 小时前
Java求职面试揭秘:从Spring到微服务的技术挑战
大数据·hadoop·spring boot·微服务·spark·java面试·互联网大厂
尘客.1 天前
DataX从Mysql导数据到Hive分区表案例
数据库·hive·mysql
yyywoaini~1 天前
序列化和反序列化hadoop实现
hadoop·eclipse·php