Spark-SQL任务提交方式

Spark-SQL在一定程度上可以代替Hive,但一般依赖Hive的元数据,即Metastore。Spark-SQL的交互式模式可以运行bin/spark-sql进入,按照类似hive方式写SQL代码。

Spark 通过 Thrift RPC 向 Hive Metastore Service(HMS) 发请求,HMS 再去访问 MySQL 里的元数据,这种方式可以让Hive、Spark、Presto、Impala 等多种引擎共享同一套元数据,此时需要启动Hive元数据服务HMS:

shell 复制代码
hive --service metastore

使用Hive元数据时,需要将hive的配置文件hive-site.xml放到$SPARK_HOME/conf目录下或者提交作业时用--files参数指定该配置文件。配置文件内容如下:

xml 复制代码
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://metastore-host:9083</value>
</property>

Spark SQL脚本任务使用spark-sql提交任务时,和Spark传统任务类似,可使用本地、Standalone、Yarn和K8S资源调度平台。提交方式如下:

shell 复制代码
# 任务提交方式:交互模式
spark-sql # 进入 Spark SQL CLI,可以直接写 SQL 语句交互式运行,本地模式
spark-sql --master local[*] # 同上
spark-sql --master yarn --deploy-mode cluster # 提交的语句在YARN集群执行
spark-sql --master k8s://https://<k8s-apiserver>:6443 \
  --conf spark.kubernetes.container.image=my-spark-image:latest \
  --deploy-mode cluster # Driver和Executor都在K8S的Pod中,client时Driver在本地

# 任务提交:指定脚本文件
spark-sql -f my.sql --conf spark.executor.memory=4g --conf spark.executor.cores=2
spark-sql --master local[*] -f my.sql # 本地模式提交脚本任务
# Standalone模式,master参数为Spark Master的RPC地址,资源分配由Master控制
spark-sql --master spark://<master>:7077 --deploy-mode client -f my.sql
# Yarn模式,client为Driver在提交节点上运行,日志直接可见,cluster为Driver在Yarn Container中运行
spark-sql --master yarn --deploy-mode cluster \
  --executor-memory 4g \
  --executor-cores 2 \
  --num-executors 20 \
  -f my.sql
相关推荐
Tony Bai23 分钟前
【Go开发者的数据库设计之道】07 诊断篇:SQL 性能诊断与问题排查
开发语言·数据库·后端·sql·golang
炬火初现6 小时前
SQL语句——高级字符串函数 / 正则表达式 / 子句
数据库·sql
编程充电站pro6 小时前
SQL 性能优化:为什么少用函数在 WHERE 条件中?
数据库·sql
TDengine (老段)7 小时前
TDengine 时序函数 DERIVATIVE 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
TDengine (老段)7 小时前
TDengine 时序函数 STATEDURATION 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
weixin_525936338 小时前
2020年美国新冠肺炎疫情数据分析与可视化
hadoop·python·数据挖掘·数据分析·spark·数据可视化
炬火初现16 小时前
SQL——子查询
数据库·sql
武子康17 小时前
Java-138 深入浅出 MySQL Spring Boot 事务传播机制全解析:从 REQUIRED 到 NESTED 的实战详解 传播机制原理
java·大数据·数据库·spring boot·sql·mysql·事务
孟意昶18 小时前
Spark专题-第三部分:性能监控与实战优化(2)-分区优化
大数据·分布式·sql·性能优化·spark·big data
落日漫游20 小时前
MySQL常用命令全攻略
数据库·sql·oracle