Spark运行spark-shell与hive运行时均报错的一种解决方案

环境按照尚硅谷的配置的。

在运行hive的时候,报错代码为30041,无法执行insert语句。

在运行spark-shell的时候,报错,无法进入到shell脚本中。

可能的问题:

对集群设置的域名与集群的主机名称不一致。

例如:

我的集群的域名为hadoopxx,但是我的集群的主机名均为ubuntu,导致集群中Node Address均为ubuntu:8042。

解决方案:

将集群的主机名称修改为与集群的域名相匹配的名称。

此图片需要在ResourceManager的IP的8088端口才能看见。

相关推荐
狮歌~资深攻城狮2 小时前
HBase性能优化秘籍:让数据处理飞起来
大数据·hbase
Elastic 中国社区官方博客3 小时前
Elasticsearch Open Inference API 增加了对 Jina AI 嵌入和 Rerank 模型的支持
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·jina
努力的小T4 小时前
使用 Docker 部署 Apache Spark 集群教程
linux·运维·服务器·docker·容器·spark·云计算
workflower4 小时前
Prompt Engineering的重要性
大数据·人工智能·设计模式·prompt·软件工程·需求分析·ai编程
API_technology5 小时前
电商搜索API的Elasticsearch优化策略
大数据·elasticsearch·搜索引擎
黄雪超6 小时前
大数据SQL调优专题——引擎优化
大数据·数据库·sql
The god of big data6 小时前
MapReduce 第二部:深入分析与实践
大数据·mapreduce
G***技7 小时前
杰和科技GAM-AI视觉识别管理系统,让AI走进零售营销
大数据·人工智能·系统架构
天天爱吃肉82188 小时前
碳化硅(SiC)功率器件:新能源汽车的“心脏”革命与技术突围
大数据·人工智能
Java资深爱好者8 小时前
在Spark中,如何使用DataFrame进行高效的数据处理
大数据·分布式·spark