hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
Irene19914 分钟前
HBase 关键字及大小写问题,中文的十六进制编码
hbase
段一凡-华北理工大学1 小时前
工业领域的Hadoop架构学习~系列文章02:HDFS架构深度剖析
大数据·人工智能·hadoop·学习·架构·高炉炼铁
Irene19912 小时前
WSL 环境中安装 HBase(前置条件 Hadoop 已安装并正在运行)
hbase
Irene19912 小时前
Oracle(字符集分为服务端和客户端) 和 Hive(依赖 MySQL(或 PostgreSQL)存储元数据)字符集编码格式查询,中文乱码处理
hive·sql·oracle
头歌实践平台2 小时前
HBase 完全分布式安装(新)
数据库·分布式·hbase
段一凡-华北理工大学3 小时前
工业领域的Hadoop架构学习~系列文章03:MapReduce编程模型深度解读
大数据·人工智能·hadoop·学习·架构·高炉炼铁·高炉智能化
无关86883 小时前
StarRocks 存算分离 + Spark + Hive Metastore + MinIO 数据湖搭建全流程
大数据·hive·spark
Irene19914 小时前
(课堂笔记)HBase(分布式、面向列的 NoSQL 数据库)基础
hbase
Irene19914 小时前
HBase 典型应用场景与阿里实践
hbase
大帅点兵1 天前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase