DataGrip远程连接Spark-sql,和使用beeline命令来连接hive

将spark-sql与hive整合后,就可以在命令行直接进入spark-sql中操作hive的数据,所做的操作hive里面都会同步。但是于此同时也发现了好多问题,先说明如何用datagrip连接spark-sql

一、连接准备

bash 复制代码
#先启动Hadoop集群

start-all.sh

#因为与sparksql整合,所以每次要先启动元数据

nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#启动spark-thriftserver 服务

cd /usr/local/soft/spark-3.1.3/sbin/

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000

查看结果如下:

二、开始连接

1、选择数据源

2、配置驱动

3、开始连接

4、连接成功

三、解决的问题

1、整合步骤:

SparkSQL整合Hive-CSDN博客https://blog.csdn.net/ABU009/article/details/143026858

第一个问题:已解决

整合后如何使用beeline进入hive ?

spark-sql与hive元数据整合后,只能用命令 hive 进入 Hive的客户端,无法使用beeline连接

,我也打开了 hiveserver2的服务,还是显示拒绝连接,试了好多遍,还是无法连接

命令操作如下:

bash 复制代码
#先启动元数据
nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#在启动hiverserver2
nohup hiveserver2 >> /usr/local/soft/hive-3.1.1/hiveserver2.log 2>&1 &

#使用beeline
beeline -u jdbc:hive2://master:10000/

#或者使用下面的
beeline
!connect jdbc:hive2://master:10000/

显示结果如下:

2、成功解决

当spark sql 与hive整合后,hiveserver2的服务就对hive不起作用了,那么beeline也就无法使用,这个时候我们只需要启动spark-thriftserver的服务,beeline就能和之前一样正常使用,成功进入hive

操作命令:

bash 复制代码
#因为与sparksql整合,所以每次要先启动元数据

nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#启动spark-thriftserver 服务

cd /usr/local/soft/spark-3.1.3/sbin/

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000

#然后再使用beeline
beeline -u jdbc:hive2://master:10000/

beeline命令成功进入hive客户端

第二个问题:未解决

2.1打开datagrip,发现每次打开之前hive里面存在的表,以及新建的表,每次点击查看都会出现一个红色的报错提示,虽然不影响写sql,但是每次查看表就出现,就会很烦。

2.2 与此同时,新建查询表时都显示未命名数据库,并且切换数据库会报错,不知道怎样解决

相关推荐
老蒋新思维2 分钟前
创客匠人峰会深度解析:知识变现的 “IP 资产化” 革命 —— 从 “运营流量” 到 “沉淀资产” 的长期增长逻辑
大数据·人工智能·网络协议·tcp/ip·创始人ip·创客匠人·知识变现
老蒋新思维19 分钟前
创客匠人峰会洞察:IP 信任为基,AI 效率为翼,知识变现的可持续增长模型
大数据·网络·人工智能·网络协议·tcp/ip·创始人ip·创客匠人
玖日大大23 分钟前
ModelEngine 可视化编排实战:从智能会议助手到企业级 AI 应用构建全指南
大数据·人工智能·算法
islandzzzz27 分钟前
从0开始的SQL表DDL学习(基础语法结构、索引/约束关键字)
数据库·sql·学习
TDengine (老段)29 分钟前
TDengine 数据缓存架构及使用详解
大数据·物联网·缓存·架构·时序数据库·tdengine·涛思数据
hans汉斯1 小时前
【软件工程与应用】基于大数据的应急救援云平台构建应用研究
大数据·数据库·人工智能·物联网·系统架构·云计算·汉斯出版社
秋刀鱼 ..1 小时前
2026生物神经网络与智能优化国际研讨会(BNNIO 2026)
大数据·python·计算机网络·数学建模·制造
AI优秘企业大脑1 小时前
增长智能体助力企业智慧转型
大数据·人工智能
howard20051 小时前
Spark实战:在GraphX中创建和计算图
spark·graphx
正在走向自律1 小时前
时序数据库选型指南,从大数据视角看新一代列式存储引擎的核心优势
大数据·时序数据库·iotdb·国产数据库