Spark和Hive的联系

通常来说, Spark 和 Hive 本质上是没有关系的,两者可以互不依赖。但是在企业实际应用中,经常把二者结合起来使用。Spark 和 Hive 结合和使用的方式,主要有以下三种:
1 、 Hive on Spark
在这种模式下,数据是以 table 的形式存储在 hive 中的,用户处理和分析数据,使用的是 Hive 语法规范的hql。 但 这些 hql ,在用户提交执行时,底层会经过解析编译以 Spark 作业的形式来运行 。(事实上,Hive早期只支持一种底层计算引擎,即 MapReduce ,后期在 Spark 因其快速高效占领大量市场后, Hive 社区才主动拥抱Spark ,通过改造自身代码,支持了 Spark 作为其底层计算引擎。目前 Hive 支持了三种底层计算引擎,即mr , Tez 和 Spark 。用户可以通过 set hive.execution.engine=mr/tez/spark 来指定具体使用哪个底层计算引擎。
2 、 Spark on Hive
Spark 本身只负责数据计算处理,并不负责数据存储。 其计算处理的数据源,可以以插件的形式支持很 多种数据源,这其中也包括 hive 。 当我们使用 Spark 来处理分析存储在 Hive 中的数据时,这种模式就称 为为 Spark on Hive 。这种模式下,用户可以使用 Spark 的 java/scala/pyhon/r 等 api ,也可以使用 Spark 语法规范的sql ,甚至也可以使用 hive 语法规范的 hql (之所以也能使用 hql ,是因为 Spark 在推广面世之初,就主动拥抱了hive ,通过改造自身代码提供了原生对 hql 包括 hive udf 的支持,这也是市场推广策略的一种吧)。
3 、 Spark+Spark Hive catalog
这是 Spark 和 Hive 结合的一种新形势,随着数据湖相关技术的进一步发展,这种模式现在在市场上受到了越来越多用户的青睐。其本质是,数据以 orc/parquet/delta lake 等格式存储在分布式文件系统如 hdfs 或 对象存储系统如 s3 中,然后通过使用 Spark 计算引擎提供的 scala/java/python 等 api 或 Spark 语法规范的 sql 来进行处理 。由于在处理分析时针对的对象是 table ,而 table 的底层对应的才是 hdfs/s3 上的文件 / 对象,所以我们需要维护这种table 到文件 / 对象的映射关系,而 Spark 自身就提供了 Spark Hive catalog 来维护这种table 到文件 / 对象的映射关系。注意这里的 Spark Hive catalog ,其本质是使用了 Hive 的 metasore 相关api来读写表到文件 / 对象的映射关系(以及一起其他的元数据信息)到 metasore db 如 mysql , postgresql等数据库中。(由于Spark 编译时可以把 Hive metastore api 等相关代码一并打包到 Spark 的二进制安装包中,所以使用这种模式,我们并不需要额外单独安装hive )。

相关推荐
wuyk5554 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证4 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读7 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI7 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19907 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli7 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI_Auto9 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网10 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
黑十1 天前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend1 天前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析