课堂总结。

Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL 编译时可以包含 Hive 支持,也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言(HQL)等。需要强调的一点是,如果要在 Spark SQL 中包含Hive 的库,并不需要事先安装 Hive。一般来说,最好还是在编译 Spark SQL 时引入 Hive支持,这样就可以使用这些特性了。

使用方式分为内嵌Hive、外部Hive、Spark-SQL CLI、Spark beeline 以及代码操作。

1)内嵌的 HIVE

2)外部的 HIVE

在虚拟机中下载以下配置文件:

如果想在spark-shell中连接外部已经部署好的 Hive,需要通过以下几个步骤:

➢ Spark 要接管 Hive 需要把 hive-site.xml 拷贝到 conf/目录下,并将url中的localhost改为node01

相关推荐
kcuwu.12 小时前
Python 数据分析实战:NumPy、Pandas、Matplotlib 融合
python·数据分析·numpy
贵州数擎科技有限公司1 天前
NumPy 从数组操作理解深度学习的计算本质
人工智能·numpy
贵州晓智信息科技2 天前
NumPy 从数组操作理解深度学习的计算本质
人工智能·深度学习·numpy
zzwq.2 天前
数据分析三件套:Numpy、Pandas、Matplotlib
数据分析·numpy·pandas
kcuwu.2 天前
Python数据分析三剑客导论:NumPy、Pandas、Matplotlib 从入门到入门
python·数据分析·numpy
superior tigre2 天前
NumPy 基础使用方法(基础+矩阵运算+Attention)
线性代数·矩阵·numpy
絆人心4 天前
Python 数据分析核心库:Pandas 与 NumPy 从入门到实战全指南(附电商用户分析完整代码)
python·数据挖掘·数据分析·numpy·pandas·数据处理·电商数据分析
郝学胜-神的一滴5 天前
玩转PyTorch:detach函数破解自动微分张量转numpy难题
人工智能·pytorch·python·深度学习·机器学习·numpy
吃一根烤肠5 天前
NumPy 内置函数与数组运算完全指南
python·numpy
智算菩萨6 天前
【Python图像处理】4 NumPy数组操作与图像矩阵运算
图像处理·python·numpy