spark集成hive

集群使用ambari+hdp方式进行部署,集群的相关版本号如下所示:

ambari版本

Version 2.7.4.0

HDP版本

HDP-3.1.4.0

hive版本

3.1.0

spark版本

2.3.0

集群前提条件:

1.Hdp、Spark、Hive都已部署好

2.Hive数据层建好,在Hdfs生成相应各层目录,后面配置Spark访问Hive的目录,要保证这个目录存在。

spark集成hive

1.修改spark配置: Advanced spark2-defaults

spark.sql.warehouse.dir将默认值/apps/spark/warehouse 改为hive数据存储hdfs位置

/warehouse/tablespace/managed/hive

2.修改spark配置: Advanced spark2-hive-site-overrid

metastore.catalog.default 值 spark 改为 hive

  1. 修改hive配置: 到hive组件修改配置

hive.strict.managed.tables 的 true 改为 false

相关推荐
TDengine (老段)5 小时前
TDengine 中的关联查询
大数据·javascript·网络·物联网·时序数据库·tdengine·iotdb
直裾9 小时前
Mapreduce的使用
大数据·数据库·mapreduce
麻芝汤圆11 小时前
使用 MapReduce 进行高效数据清洗:从理论到实践
大数据·linux·服务器·网络·数据库·windows·mapreduce
树莓集团12 小时前
树莓集团海南落子:自贸港布局的底层逻辑
大数据
不剪发的Tony老师12 小时前
Hue:一个大数据查询工具
大数据
靠近彗星12 小时前
如何检查 HBase Master 是否已完成初始化?| 详细排查指南
大数据·数据库·分布式·hbase
墨染丶eye13 小时前
数据仓库项目启动与管理
大数据·数据仓库·spark
SelectDB13 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·aigc
遇到困难睡大觉哈哈13 小时前
Git推送错误解决方案:`rejected -> master (fetch first)`
大数据·git·elasticsearch
Roam-G13 小时前
Elasticsearch 证书问题解决
大数据·elasticsearch·jenkins