hive,hbase集群拷贝注意事项

注意事项:

1.有足够的带宽,最好能300M/S = 磁盘写入速度

2.两个集群的在一个网络,且新集群的主机名=可以访问的域名。

CDH的主机名不能轻易更改,若只能换主机名建议重新部署CDH集群。

3.数据拷贝跑后台进程

hive表跨集群备份

注意事项:

1.老集群使用hdfs

2.传输命令带上用户权限参数,带上数目参数

HBase表跨集群备份

注意事项:

1.老集群使用hbase用户

2.传输命令带上用户权限参数

3.最重要!在hbase上建立快照后,传输完成后要立刻删掉快照。

原数据不变时,快照不占空间。原数据变化,快照会把该时刻的数据copy一份。

4.覆盖之前的数据可在结尾处加 -overwrite

相关推荐
牛奶咖啡134 天前
大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive的配置安装与使用
大数据·hive·hive的配置与安装·metastore服务的配置·hiveserver2服务配置·hive的常用sql操作·beeline的使用
Zhu7585 天前
在k8s集群环境部署高可用的Apache Hadoop3.1.1定制版集群
hadoop·kubernetes
还有你Y6 天前
软件工程架构
hadoop·架构·软件工程
向夏威夷 梦断明暄6 天前
基于Tez引擎的 Hive SQL 性能优化
hive·sql·性能优化
2501_942389558 天前
为支撑持续攀升的AI资本开支
人工智能·oracle·hbase·database·storm
曾阿伦10 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
极光代码工作室11 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
liuxiaowei312 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal13 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
2601_9609067215 天前
网络防御等最先进AI模型领域
人工智能·json·hbase·flume·storm