spark集成hive

集群使用ambari+hdp方式进行部署,集群的相关版本号如下所示:

ambari版本

Version 2.7.4.0

HDP版本

HDP-3.1.4.0

hive版本

3.1.0

spark版本

2.3.0

集群前提条件:

1.Hdp、Spark、Hive都已部署好

2.Hive数据层建好,在Hdfs生成相应各层目录,后面配置Spark访问Hive的目录,要保证这个目录存在。

spark集成hive

1.修改spark配置: Advanced spark2-defaults

spark.sql.warehouse.dir将默认值/apps/spark/warehouse 改为hive数据存储hdfs位置

/warehouse/tablespace/managed/hive

2.修改spark配置: Advanced spark2-hive-site-overrid

metastore.catalog.default 值 spark 改为 hive

  1. 修改hive配置: 到hive组件修改配置

hive.strict.managed.tables 的 true 改为 false

相关推荐
dogplays1 小时前
sqoop import将Oracle数据加载至hive,数据量变少,只能导入一个mapper的数据量
hive·oracle·sqoop
天冬忘忧1 小时前
Spark 共享变量:广播变量与累加器解析
大数据·python·spark
电子手信1 小时前
AI知识库在行业应用中的未来趋势与案例分析
大数据·人工智能·自然语言处理·数据挖掘
zmd-zk1 小时前
hive中windows子句的使用
大数据·数据仓库·hive·hadoop·windows·分布式·big data
Natural_yz10 小时前
大数据学习09之Hive基础
大数据·hive·学习
Natural_yz10 小时前
大数据学习10之Hive高级
大数据·hive·学习
AI服务老曹10 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
Mephisto.java10 小时前
【大数据学习 | HBASE高级】storeFile文件的合并
大数据·sql·oracle·json·hbase·database
这样の我10 小时前
hbase集成phoenix
大数据·数据库·hbase
思通数据11 小时前
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
大数据·人工智能·目标检测·计算机视觉·自然语言处理·数据挖掘·ocr