DataGrip远程连接Spark-sql,和使用beeline命令来连接hive

将spark-sql与hive整合后,就可以在命令行直接进入spark-sql中操作hive的数据,所做的操作hive里面都会同步。但是于此同时也发现了好多问题,先说明如何用datagrip连接spark-sql

一、连接准备

bash 复制代码
#先启动Hadoop集群

start-all.sh

#因为与sparksql整合,所以每次要先启动元数据

nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#启动spark-thriftserver 服务

cd /usr/local/soft/spark-3.1.3/sbin/

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000

查看结果如下:

二、开始连接

1、选择数据源

2、配置驱动

3、开始连接

4、连接成功

三、解决的问题

1、整合步骤:

SparkSQL整合Hive-CSDN博客https://blog.csdn.net/ABU009/article/details/143026858

第一个问题:已解决

整合后如何使用beeline进入hive ?

spark-sql与hive元数据整合后,只能用命令 hive 进入 Hive的客户端,无法使用beeline连接

,我也打开了 hiveserver2的服务,还是显示拒绝连接,试了好多遍,还是无法连接

命令操作如下:

bash 复制代码
#先启动元数据
nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#在启动hiverserver2
nohup hiveserver2 >> /usr/local/soft/hive-3.1.1/hiveserver2.log 2>&1 &

#使用beeline
beeline -u jdbc:hive2://master:10000/

#或者使用下面的
beeline
!connect jdbc:hive2://master:10000/

显示结果如下:

2、成功解决

当spark sql 与hive整合后,hiveserver2的服务就对hive不起作用了,那么beeline也就无法使用,这个时候我们只需要启动spark-thriftserver的服务,beeline就能和之前一样正常使用,成功进入hive

操作命令:

bash 复制代码
#因为与sparksql整合,所以每次要先启动元数据

nohup hive --service metastore >> /usr/local/soft/hive-3.1.3/metastore.log 2>&1 &

#启动spark-thriftserver 服务

cd /usr/local/soft/spark-3.1.3/sbin/

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000

#然后再使用beeline
beeline -u jdbc:hive2://master:10000/

beeline命令成功进入hive客户端

第二个问题:未解决

2.1打开datagrip,发现每次打开之前hive里面存在的表,以及新建的表,每次点击查看都会出现一个红色的报错提示,虽然不影响写sql,但是每次查看表就出现,就会很烦。

2.2 与此同时,新建查询表时都显示未命名数据库,并且切换数据库会报错,不知道怎样解决

相关推荐
青稞社区.14 分钟前
Claude Code 源码深度解析:运行机制与 Memory 模块详解
大数据·人工智能·elasticsearch·搜索引擎·agi
T062051431 分钟前
【面板数据】地级市及区县人口空心化数据(2000-2024年)
大数据
Aktx20FNz1 小时前
iFlow CLI 完整工作流指南
大数据·elasticsearch·搜索引擎
LaughingZhu2 小时前
Anthropic 收购 Oven 后,Claude Code 用运行时写了一篇护城河文章
大数据·人工智能·经验分享·搜索引擎·语音识别
学习3人组2 小时前
TortoiseGit冲突解决实战上机练习
大数据·elasticsearch·搜索引擎
Ln5x9qZC23 小时前
Flink SQL 元数据持久化实战
大数据·sql·flink
OYpBNTQXi3 小时前
Flink Agents 源码解读 --- (6) --- ActionTask
大数据·flink
中金快讯4 小时前
济民健康医疗服务占比提升至46%!业务结构调整初见成效
大数据·人工智能
lizhihai_994 小时前
股市学习心得-尾盘半小时买入法
大数据
升职佳兴4 小时前
SQL 进阶3:连续登录问题与 ROW_NUMBER 差值法完整解析
java·数据库·sql