记录一个hive中跑insert语句说没创建spark客户端的问题

【背景说明】

我目前搭建离线数仓,并将hive的执行引擎改成了Spark,在将ods层的数据装载到dim层,执行insert语句时报如下错误

【报错】

42000\]\[40000\] Error while compiling statement: FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session e1e64eb2-bfa8-4e3f-8e3a-d37b88a92c86 这个错误表示Hive无法为Spark会话创建Spark客户端,可能是由于Spark会话创建失败导致的。 【原因】 经过排查,发现导致该问题的原因是当队列资源达到100%后,如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用,将会导致任务失败而抛出这个异常 。 【解决】 加大client连接时间间隔; 修改hive的配置文件hive-site.xml hive.spark.client.connect.timeout 100000ms 注意注意:每次改完这个配置文件需要重启hiveserver2,我封装了这个脚本 hi.sh stop hi.sh start 再重跑insert ![](https://file.jishuzhan.net/article/1783180129850101761/4330504d188741ae7c16cd00d3f17b45.webp)

相关推荐
我要用代码向我喜欢的女孩表白10 小时前
在spark集群上在部署一套spark环境,不要影响过去环境
大数据·分布式·spark
杭州杭州杭州11 小时前
数仓实验1
hive
新缸中之脑15 小时前
Meta新模型Muse Spark上手体验
大数据·分布式·spark
Thomas214316 小时前
pyspark 新接口 DataSource V2 写法 写入paimon为例
大数据·分布式·spark
杭州杭州杭州16 小时前
数仓实验2
hive
杭州杭州杭州17 小时前
数仓实验3
hive
howard20051 天前
2.2.3.1 搭建Spark集群
spark·standalone集群
Vin0sen2 天前
Hadoop安装
大数据·hadoop·分布式
isNotNullX2 天前
数据仓库是什么?怎么搭建数据仓库?
大数据·分布式·spark
隐于花海,等待花开2 天前
HIVE日期函数大全
数据仓库·hive·hadoop