spark链接hive时踩的坑

使用spark操作hive,使用metastore连接hive,获取hive的数据库时,当我们在spark中创建数据库的时候,创建成功。

同时hive中也可以看到这个数据库,建表插入数据也没有问题,但是当我们去查询数据库中的数据时,发现查不到数据,去查hive的元数据,发现,spark在创建数据库的时候将数据库创建在了本地文件系统中

而我们的hive数据是存放在hdfs上的,我们的spark进行查询数据时是使用hive的metastore连接的hive的数据库,也就是spark会从hdfs上读取数据,所以无论怎么查询都是查不出来数据的

当我们按照这个路径去我们本地文件系统中查找这个路径的时候,就可以看到

这个数据库,如果没有,可能是spark创建在了其他的服务器节点上 。

如何解决这个问题呢?

只需要在spark的配置文件中指定spark的数据存储位置为hdfs上即可

在spark的conf目录下找到spark-defaults.conf文件,在文件中添加

复制代码
        spark.sql.warehouse.dir hdfs的路径(hive的路径)

还有另一种方法(慎用)

在创建数据库的时候,在后面加上:localtion hdfs路径/数据库名.db

该方法虽然也可以将spark创建的数据库放入到hdfs上,但是在创建的时候,它会清空该文件夹下的所有数据,所以若使用此方法创建,需要设置为一个空文件夹

相关推荐
科研前沿10 分钟前
深耕像素实景重构,夯实视频孪生技术根基——锻造硬核底层能力,铸就镜像视界行业标杆
大数据·人工智能·数码相机·机器学习·重构
AI_Auto12 分钟前
【转载】- 欧美制造企业AI+PLM现状及意向调研白皮书
大数据·人工智能·制造
成旭先生19 分钟前
【2026】企业工商照面信息查询:深入了解企业的33项核心数据
大数据·大模型·geo
Volunteer Technology21 分钟前
Hadoop NameNode HA
大数据·hadoop·分布式
callJJ25 分钟前
Git 分支合并到测试分支(dep-qa)教程
大数据·git·elasticsearch
OCR_1337162127525 分钟前
技术解析:护照OCR查验核心逻辑,跨境身份核验的技术实现路径
大数据·运维·人工智能
陈天伟教授26 分钟前
图解人工智能(1)居里点
大数据·开发语言·人工智能·gpt
yulingfeng5928 分钟前
Elasticsearch 分词器安装(IK+拼音)
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客30 分钟前
从平均值到任意百分位数:Elasticsearch 在 ES|QL 中原生支持指数直方图
大数据·数据库·sql·elasticsearch·搜索引擎·全文检索·prometheus
weikecms37 分钟前
企微支持聚合聊天的 SCRM 工具推荐
大数据