记一次CDH集群迁移产生的问题——HIVE

背景

生产环境CDH集群迁移到新的环境,迁移之后使用Hive Client方执行任务一直失败。

问题1:metadata.SessionHiveMetaStoreClient

产生报错:

复制代码
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

看起来是hive元数据存储有问题,所以查看了一下配置 hive-site.xml

发现没有配置用户名和密码,于是增加配置

在机器上测试执行 hive -e "show databases;"依然报一样的错。于是查看与MetaStore其他有关的配置,突然发现hive.metastore.uris配置的是迁移前的集群配置的地址,于是修改并重启。

这时候执行show databases;可以成功。

问题2:MapReduce任务卡住

本来以为没问题了,这时候,执行insert任务的时候,一直卡住

看了一下执行日志

发现没有执行reduce任务,于是再次查看配置,怀疑是分配相关的还有问题,果然就看到hive.zookeeper.quorum配置还是用的迁移前的地址....于是修改并重启。

重新执行insert代码可以正常执行了

总结

迁移集群一定要检查好配置,尤其是复制黏贴来的!!!

本次相关的配置修改:

相关推荐
一张假钞15 小时前
Spark SQL读写Hive Table部署
hive·sql·spark
想做富婆16 小时前
Hive:窗口函数[ntile, first_value,row_number() ,rank(),dens_rank()]和自定义函数
数据仓库·hive·hadoop
好记性+烂笔头1 天前
4 Hadoop 面试真题
大数据·hadoop·面试
B站计算机毕业设计超人2 天前
计算机毕业设计Python+CNN卷积神经网络考研院校推荐系统 考研分数线预测 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习
hadoop·python·机器学习·spark·网络爬虫·课程设计·数据可视化
字节全栈_rJF2 天前
Hive 整合 Spark 全教程 (Hive on Spark)
hive·hadoop·spark
好记性+烂笔头2 天前
2 MapReduce
大数据·hadoop·mapreduce
字节全栈_ZKt2 天前
Hadoop集群中Hbase的介绍、安装、使用_root@master001 hadoop]# start-hbase
大数据·hadoop·hbase
一张假钞3 天前
Sqoop源码修改:增加落地HDFS文件数与MapTask数量一致性检查
java·hadoop·hdfs·sqoop
weixin_307779133 天前
设计转换Apache Hive的HQL语句为Snowflake SQL语句的Python程序方法
数据仓库·hive·python·sql
想做富婆3 天前
Hive:窗口函数(1)
数据仓库·hive·hadoop