Spark运行spark-shell与hive运行时均报错的一种解决方案

环境按照尚硅谷的配置的。

在运行hive的时候,报错代码为30041,无法执行insert语句。

在运行spark-shell的时候,报错,无法进入到shell脚本中。

可能的问题:

对集群设置的域名与集群的主机名称不一致。

例如:

我的集群的域名为hadoopxx,但是我的集群的主机名均为ubuntu,导致集群中Node Address均为ubuntu:8042。

解决方案:

将集群的主机名称修改为与集群的域名相匹配的名称。

此图片需要在ResourceManager的IP的8088端口才能看见。

相关推荐
AutoMQ44 分钟前
技术干货|AutoMQ:在 Kafka 中无需使用 Cruise Control 实现自动分区重分配
大数据
搞数据的小杰1 小时前
spark广播表大小超过Spark默认的8GB限制
大数据·数据库·分布式·spark
isNotNullX2 小时前
数据怎么分层?从ODS、DW、ADS三大层一一拆解!
大数据·开发语言·数据仓库·分布式·spark
时序数据说2 小时前
时序数据库处理的时序数据独特特性解析
大数据·数据库·物联网·时序数据库·iotdb
随心............3 小时前
hive的相关的优化
数据仓库·hive·hadoop
专注VB编程开发20年3 小时前
WPF,Winform,HTML5网页,哪个UI开发速度最快?
大数据·c#·wpf
一切顺势而行4 小时前
flink 和 spark 架构的对比
架构·flink·spark
武子康5 小时前
大数据-42 Redis 发布/订阅详解:机制、弱事务性与实际风险分析
大数据·redis·后端
万能小锦鲤5 小时前
《大数据技术原理与应用》实验报告一 熟悉常用的Linux操作和Hadoop操作
大数据·linux·hadoop·ubuntu·vmware·实验报告·大数据技术原理与应用
码字的字节5 小时前
深入解析Hadoop中的HDFS架构设计
大数据·hadoop·hdfs