记录一个hive中跑insert语句说没创建spark客户端的问题

【背景说明】

我目前搭建离线数仓,并将hive的执行引擎改成了Spark,在将ods层的数据装载到dim层,执行insert语句时报如下错误

【报错】

42000\]\[40000\] Error while compiling statement: FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session e1e64eb2-bfa8-4e3f-8e3a-d37b88a92c86 这个错误表示Hive无法为Spark会话创建Spark客户端,可能是由于Spark会话创建失败导致的。 【原因】 经过排查,发现导致该问题的原因是当队列资源达到100%后,如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用,将会导致任务失败而抛出这个异常 。 【解决】 加大client连接时间间隔; 修改hive的配置文件hive-site.xml hive.spark.client.connect.timeout 100000ms 注意注意:每次改完这个配置文件需要重启hiveserver2,我封装了这个脚本 hi.sh stop hi.sh start 再重跑insert ![](https://file.jishuzhan.net/article/1783180129850101761/4330504d188741ae7c16cd00d3f17b45.webp)

相关推荐
走遍西兰花.jpg5 小时前
如何启动azkaban
hadoop·azkaban
是阿威啊11 小时前
【用户行为归因分析项目】- 【企业级项目开发第二站】项目通用代码开发
大数据·服务器·数据仓库·hive·hadoop
大千AI助手13 小时前
HiveOperator 中 hql 模板路径解析失败的原因分析
hive·python·任务调度·airflow·模版·大千ai助手·hiveoperator
Hello.Reader13 小时前
Hive Dialect 的查询能力支持哪些 HiveQL 子集,怎么写、怎么跑
数据仓库·hive·hadoop
天码-行空13 小时前
【大数据环境安装指南】ZooKeeper搭建spark高可用集群教程
大数据·linux·运维·zookeeper·spark
AC赳赳老秦1 天前
政务数据处理:DeepSeek 适配国产化环境的统计分析与报告生成
开发语言·hadoop·spring boot·postgresql·测试用例·政务·deepseek
是阿威啊1 天前
【用户行为归因分析项目】- 【企业级项目开发第三站】模拟DIM层设备、应用数据加载到Hive
数据仓库·hive·hadoop
小鸡脚来咯1 天前
Hive SQL与SQL不同处
hive·hadoop·sql
kylezhao20191 天前
WinForm/WPF界面开发(常用控件、布局设计、事件处理)
大数据·hadoop·wpf
想你依然心痛1 天前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-02)
笔记·分布式·spark