Spark运行spark-shell与hive运行时均报错的一种解决方案

环境按照尚硅谷的配置的。

在运行hive的时候,报错代码为30041,无法执行insert语句。

在运行spark-shell的时候,报错,无法进入到shell脚本中。

可能的问题:

对集群设置的域名与集群的主机名称不一致。

例如:

我的集群的域名为hadoopxx,但是我的集群的主机名均为ubuntu,导致集群中Node Address均为ubuntu:8042。

解决方案:

将集群的主机名称修改为与集群的域名相匹配的名称。

此图片需要在ResourceManager的IP的8088端口才能看见。

相关推荐
阿里云大数据AI技术12 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35216 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康21 小时前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
计算机毕业设计木哥2 天前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟2 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata