spark—SQL3

连接方式

内嵌Hive:

使用时无需额外操作,但实际生产中很少使用。

外部Hive:

在虚拟机下载相关配置文件,在spark-shell中连接需将hive-site.xml拷贝到conf/目录并修改url、将MySQL驱动copy到jars/目录、把core-site.xml和hdfs-site.xml拷贝到conf/目录,最后重启spark-shell。

(++sz, rz这俩作用不一样,一个是输送到本地文件,一个是本地输到远程服务器的当前目录++)

url中的localhost改为node01

重新启动后

运行Spark-SQL CLI:

可在本地运行Hive元数据服务和执行查询任务。

将mysql驱动放入jars/、hive-site.xml文件放入conf/,运行bin/目录下的spark-sql.cmd即可执行SQL语句。

代码操作Hive:

导入spark-hive_2.12和hive-exec依赖,将hive-site.xml拷贝到项目resources目录。

执行时出错,可设置HADOOP_USER_NAME解决。

默认数据库在本地仓库,可通过配置修改数据库仓库地址。

1.导入依赖。

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version></dependency><dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.3</version></dependency>

可能出现下载jar包的问题:D:\maven\repository\org\pentaho\pentaho-aggdesigner-algorithm\5.1.5-jhyde

2.将hive-site.xml 文件拷贝到项目的 resources 目录中。

3.代码实现。

val sparkConf = new SparkConf().setMaster("local\*").setAppName("hive")

val spark:SparkSession = SparkSession.builder()

.enableHiveSupport()

.config(sparkConf)

.getOrCreate()

spark.sql("show databases").show()

spark.sql("create database spark_sql")

spark.sql("show databases").show()

相关推荐
用户3610588626124 小时前
Spark 核心之二次排序、分组取 TopN 优化分析
大数据·spark
头茬韭菜1 天前
Apache Fluss 项目深度分析与技术文档系列计划
flink·spark·realtime·fluss
Gent_倪2 天前
Spark聚合算法:HashAggregate与SortAggregate详解
大数据·spark
用户3610588626123 天前
Spark 核心之任务调度角色划分以及资源调度角色划分详解
大数据·spark
用户3610588626124 天前
Spark 核心之 Stage 并行度划分及优化详解
spark
用户3610588626124 天前
Spark 核心之 Stage 切分划分与计算模式详解
spark
用户3610588626125 天前
Spark 核心之 RDD 窄依赖与宽依赖详解
spark
用户3610588626125 天前
Spark 核心之 Stage 和 Task 原理剖析
spark
java1234_小锋5 天前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
腾讯云大数据5 天前
腾讯云智能数据湖计算AI DLC发布会回顾:Spark+Ray一体化,面向Agent重构数据底座
人工智能·spark·腾讯云