hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
老马聊技术1 天前
HBase单节点环境搭建详细教程
大数据·数据库·hbase
xerthwis1 天前
Hadoop:大数据世界的“古老基石”与“沉默的共生者”
大数据·人工智能·hadoop
老马聊技术2 天前
HBase完全分布式集群搭建详细教程
数据库·分布式·hbase
yumgpkpm2 天前
Cloudera CDH5|CDH6|CDP7.1.7|CDP7.3|CMP 7.3的产品优势分析(在华为鲲鹏 ARM 麒麟KylinOS、统信UOS)
大数据·人工智能·hadoop·深度学习·spark·transformer·cloudera
yumgpkpm2 天前
Hadoop如何用Flink支持实时数据分析需求
大数据·hadoop·分布式·hdfs·flink·kafka·cloudera
喻师傅3 天前
Hive 中 NULL 值在逻辑判断中的“陷阱”(踩坑复盘)
数据仓库·hive·hadoop
LF3_3 天前
Centos7,单机搭建Hadoop3.3.6伪分布式集群
大数据·hadoop·伪分布式
Hello.Reader4 天前
Flink SQL 的 LOAD MODULE 深度实战——加载 Hive 模块、理解模块发现与常见坑
hive·sql·flink
泰克教育官方账号5 天前
泰涨知识 | Hadoop的IO操作——压缩/解压缩
大数据·hadoop·分布式
qq_381454995 天前
大数据时代的分布式基石Hadoop
hadoop