sparkSQL连接报错的一个解决方法

在一个报错启动时出现,用tail -f /opt/installs/anaconda3/lib/python3.8/site-packages/pyspark/logs/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-bigdata01.out命令查看了启动的日志文件出现这个错误:

复制代码
false org.apache.spark.deploy.SparkSubmit --master yarn --conf spark.sql.shuffle.partitions=2 --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server spark-internal --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01
========================================
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
    at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:650)
    at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:281)
    at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:237)
    at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:122)
    at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$3.<init>(SparkSubmit.scala:1108)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:1108)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1125)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1134)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

对文档中的路径进行配置:

export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

export YARN_CONF_DIR=/opt/installs/hadoop/etc/hadoop

然后启动发现另一个错误

说是当时集群出现了没有离开安全模式的命令,

hdfs dfsadmin -safemode leave

先离开安全模式,然后开启三个集群并且启动命令,重启spark:

spark-service-manager.sh stop

spark-service-manager.sh start

相关推荐
starzy199019 小时前
Spark 核心之 Spark-SortShuffle 原理深度剖析
大数据·spark
用户3610588626121 天前
Spark 核心之 Spark 内存管理深度剖析
大数据·spark
乌恩大侠2 天前
【AI-RAN】硬件产品:DELL 前传交换机
人工智能·spark·aerial·o-ru·ai-ran
starzy19902 天前
Spark 核心之自定义累加器以及版本对比变化深度剖析
大数据·ajax·spark
用户3610588626122 天前
Spark 核心之 Spark-SortShufflebypass 原理深度剖析
大数据·spark
starzy19902 天前
Spark 核心之二次排序、分组取 TopN 优化分析
大数据·分布式·spark
乌恩大侠3 天前
图解 AI-RAN开发需要哪些软硬件:O-RU、DGX Spark、Sionna与Aerial
人工智能·spark·o-ru·ai-ran
阿里云大数据AI技术4 天前
阿里云 EMR Daft AI Function:用 DataFrame 表达式搞定大模型调用与多模态向量化
人工智能·spark
BD_Marathon4 天前
部署Spark
大数据·javascript·spark
Blossom i4 天前
Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境
大数据·hadoop·spark