课堂总结。

Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL 编译时可以包含 Hive 支持,也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言(HQL)等。需要强调的一点是,如果要在 Spark SQL 中包含Hive 的库,并不需要事先安装 Hive。一般来说,最好还是在编译 Spark SQL 时引入 Hive支持,这样就可以使用这些特性了。

使用方式分为内嵌Hive、外部Hive、Spark-SQL CLI、Spark beeline 以及代码操作。

1)内嵌的 HIVE

2)外部的 HIVE

在虚拟机中下载以下配置文件:

如果想在spark-shell中连接外部已经部署好的 Hive,需要通过以下几个步骤:

➢ Spark 要接管 Hive 需要把 hive-site.xml 拷贝到 conf/目录下,并将url中的localhost改为node01

相关推荐
sduwcgg19 小时前
python的numpy的MKL加速
开发语言·python·numpy
坚持就完事了1 天前
大二下期末
python·numpy·pandas
元直数字电路验证3 天前
Python数据分析及可视化中常用的6个库及函数(一)
python·numpy
猫头虎4 天前
零基础安装 Python 教程:从下载到环境配置一步到位(支持 VSCode 和 PyCharm)与常用操作系统操作指南
vscode·python·pycharm·beautifulsoup·numpy·pyqt·pip
心动啊1214 天前
Numpy——结构化数组和Numpy文件
numpy
love530love5 天前
【笔记】为 Python 项目安装图像处理与科学计算依赖(MINGW64 环境)
开发语言·图像处理·人工智能·windows·笔记·python·numpy
love530love6 天前
【笔记】Windows系统部署suna基于 MSYS2的Poetry 虚拟环境backedn后端包编译失败处理
开发语言·人工智能·windows·笔记·python·numpy
船长@Quant7 天前
CQF预备知识:Python相关库 -- NumPy 基础知识 - 线性代数 numpy.linalg
python·numpy·cqf
zzc92110 天前
python h5py 读取mat文件的<HDF5 object reference> 问题
开发语言·python·numpy
ayas1231912 天前
numpy与matplotlib学习——数据可视化入门
学习·numpy·matplotlib