spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面,让他们统一通过sql开发即可,可通过spark中的thriftserver服务实现,与hive中的thriftserver类似,配置好该服务后,上层通过db client或者代码中通过jdbc连接即可直接使用sql操作,

该服务会去请求metastore服务得到元数据后,再将sql语句及元数据给到执行引擎,转换成rdd代码执行。

一个配置案例如下:

1.确保已经配置好了Spark On Hive

2.启动ThriftServerl即可

#直接在root账户下启动即可

$SPARK HOME/sbin/start-thriftserver.sh

--hiveconf hive.server2.thrift.port=10000

--hiveconf hive.server2.thrift.bind.host=nodel

--master local[2]

#master选择local,每一条sql都是local进程执行

#master选择yarn,每一条sql都是在YARN集群中执行

相关推荐
想七想八不如114085 分钟前
数据库--样题复习
数据库·sql·oracle
551只玄猫8 分钟前
【数据库原理 实验报告1】创建和管理数据库
数据库·sql·学习·mysql·课程设计·实验报告·数据库原理
朗心心理2 小时前
朗心科技:以数智化引领心理健康服务新标杆
大数据·人工智能·科技·心理健康·朗心科技·数智化心理育人·一站式心理中心建设
无忧智库2 小时前
破局与重构:大型集团化协同管理平台的全景式深度解构(PPT)
大数据
551只玄猫3 小时前
【数据库原理 实验报告3】索引的创建以及数据更新
数据库·sql·课程设计·实验报告·操作系统原理
码云数智-大飞4 小时前
进程、线程与协程:并发模型的演进与 Go 语言的 GMP 革命
大数据
XiaoMu_0015 小时前
基于大数据的糖尿病数据分析可视化
大数据·数据挖掘·数据分析
阿里云大数据AI技术5 小时前
Celeborn 如何让 EMR Serverless Spark 的 Shuffle 舒心、放心、安心
大数据·spark
AI营销快线5 小时前
AI营销获客难?原圈科技深度解析SaaS系统增长之道
大数据·人工智能
养生技术人5 小时前
Oracle OCP认证考试题目详解082系列第5题
运维·数据库·sql·oracle·开闭原则