spark集成hive

集群使用ambari+hdp方式进行部署,集群的相关版本号如下所示:

ambari版本

Version 2.7.4.0

HDP版本

HDP-3.1.4.0

hive版本

3.1.0

spark版本

2.3.0

集群前提条件:

1.Hdp、Spark、Hive都已部署好

2.Hive数据层建好,在Hdfs生成相应各层目录,后面配置Spark访问Hive的目录,要保证这个目录存在。

spark集成hive

1.修改spark配置: Advanced spark2-defaults

spark.sql.warehouse.dir将默认值/apps/spark/warehouse 改为hive数据存储hdfs位置

/warehouse/tablespace/managed/hive

2.修改spark配置: Advanced spark2-hive-site-overrid

metastore.catalog.default 值 spark 改为 hive

  1. 修改hive配置: 到hive组件修改配置

hive.strict.managed.tables 的 true 改为 false

相关推荐
上优22 分钟前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
samLi06201 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java1 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR2 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm2 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
科技象限3 小时前
电脑禁用U盘的四种简单方法(电脑怎么阻止u盘使用)
大数据·网络·电脑
天冬忘忧4 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
青云交4 小时前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储
zmd-zk5 小时前
flink学习(2)——wordcount案例
大数据·开发语言·学习·flink
电子手信5 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱