hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
小刘鸭!2 小时前
Hbase的特点、特性
大数据·数据库·hbase
学计算机的睿智大学生3 小时前
Hadoop的生态系统所包含的组件
大数据·hadoop·分布式
武子康4 小时前
大数据-259 离线数仓 - Griffin架构 修改配置 pom.xml sparkProperties 编译启动
xml·java·大数据·hive·hadoop·架构
工业互联网专业6 小时前
Python毕业设计选题:基于python的酒店推荐系统_django+hadoop
hadoop·python·django·vue·毕业设计·源码·课程设计
郭源潮3459 小时前
Hadoop
大数据·hadoop·分布式
开着拖拉机回家10 小时前
【Ambari】使用 Knox 进行 LDAP 身份认证
大数据·hadoop·gateway·ambari·ldap·knox
出发行进17 小时前
Hive其四,Hive的数据导出,案例展示,表类型介绍
数据仓库·hive·hadoop
武子康19 小时前
大数据-258 离线数仓 - Griffin架构 配置安装 Livy 架构设计 解压配置 Hadoop Hive
java·大数据·数据仓库·hive·hadoop·架构
李昊哲小课1 天前
deepin 安装 zookeeper
大数据·运维·zookeeper·debian·hbase
筒栗子1 天前
复习打卡大数据篇——Hadoop MapReduce
大数据·hadoop·mapreduce