sparkSQL连接报错的一个解决方法

在一个报错启动时出现,用tail -f /opt/installs/anaconda3/lib/python3.8/site-packages/pyspark/logs/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-bigdata01.out命令查看了启动的日志文件出现这个错误:

复制代码
false org.apache.spark.deploy.SparkSubmit --master yarn --conf spark.sql.shuffle.partitions=2 --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server spark-internal --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01
========================================
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
    at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:650)
    at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:281)
    at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:237)
    at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:122)
    at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$3.<init>(SparkSubmit.scala:1108)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:1108)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1125)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1134)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

对文档中的路径进行配置:

export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

export YARN_CONF_DIR=/opt/installs/hadoop/etc/hadoop

然后启动发现另一个错误

说是当时集群出现了没有离开安全模式的命令,

hdfs dfsadmin -safemode leave

先离开安全模式,然后开启三个集群并且启动命令,重启spark:

spark-service-manager.sh stop

spark-service-manager.sh start

相关推荐
whuang09417 小时前
腾讯云 emr 无法以cosn 写入云存储
spark
howard20052 天前
2.4.3 集群模式运行Spark项目
spark·项目打包·提交运行
孤雪心殇2 天前
快速上手数仓基础知识
数据仓库·hive·spark
渣渣盟2 天前
Spark 性能调优实战:从开发到生产落地
javascript·ajax·spark
渣渣盟3 天前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
DolphinScheduler社区4 天前
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!
java·spark·apache·海豚调度·大数据工作流调度
Leo.yuan4 天前
数据仓库是什么?数据仓库和大数据平台、数据湖、数据中台、湖仓一体有什么区别?
大数据·数据仓库·spark
heiqizero4 天前
Spark RDD动作算子
spark
heiqizero4 天前
Spark RDD转换算子02
spark
heiqizero5 天前
Spark RDD转换算子01
spark