hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
viperrrrrrrrrr71 小时前
大数据学习(137)-大数据组件运行时角色
大数据·hive·学习·flink·spark
安审若无8 小时前
Hive的索引使用如何优化?
数据仓库·hive·hadoop
小王不会写code1 天前
Hadoop 2.7.7 单机伪分布式安装与配置教程(JDK 8)
java·hadoop·分布式
zh_199951 天前
Hive面试题汇总
大数据·hive·hadoop·架构·面试题
Kookoos1 天前
ABP vNext + Spark on Hadoop:实时流处理与微服务融合
hadoop·微服务·spark·.net·abp vnext
是梦终空1 天前
JAVA毕业设计227—基于SpringBoot+hadoop+spark+Vue的大数据房屋维修系统(源代码+数据库)
hadoop·spring boot·spark·vue·毕业设计·源代码·大数据房屋维修系统
£菜鸟也有梦2 天前
Flume进阶之路:从基础到高阶的飞跃
大数据·hive·hadoop·flume
Detachym2 天前
CentOS7下的大数据NoSQL数据库HBase集群部署
大数据·nosql·hbase
Kookoos2 天前
ABP vNext + Hive 集成:多租户大数据 SQL 查询与报表分析
大数据·hive·sql·.net·abp vnext
viperrrrrrrrrr73 天前
大数据学习(132)-HIve数据分析
大数据·hive·学习