spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面,让他们统一通过sql开发即可,可通过spark中的thriftserver服务实现,与hive中的thriftserver类似,配置好该服务后,上层通过db client或者代码中通过jdbc连接即可直接使用sql操作,

该服务会去请求metastore服务得到元数据后,再将sql语句及元数据给到执行引擎,转换成rdd代码执行。

一个配置案例如下:

1.确保已经配置好了Spark On Hive

2.启动ThriftServerl即可

#直接在root账户下启动即可

$SPARK HOME/sbin/start-thriftserver.sh

--hiveconf hive.server2.thrift.port=10000

--hiveconf hive.server2.thrift.bind.host=nodel

--master local[2]

#master选择local,每一条sql都是local进程执行

#master选择yarn,每一条sql都是在YARN集群中执行

相关推荐
数据超市8 分钟前
快速CAD转到PPT的方法,带教程
大数据·python·科技·信息可视化·数据挖掘
TDengine (老段)27 分钟前
从细胞工厂到智能制造:Extracellular 用 TDengine 打通数据生命线
java·大数据·数据库·科技·制造·时序数据库·tdengine
PONY LEE2 小时前
Flink 任务调优案例分析
大数据·flink
Hello.Reader2 小时前
Flink DataStream V2 的 Watermark可编排的“流内控制事件”实战
大数据·flink
驾数者2 小时前
Flink SQL核心概念解析:Table API与流表二元性
大数据·sql·flink
vortex57 小时前
谷歌黑客语法挖掘 SQL 注入漏洞
android·数据库·sql
wind_one18 小时前
7.基础--SQL--DDL-数据类型及案例
数据库·sql
l1t9 小时前
利用DeepSeek改写SQLite版本的二进制位数独求解SQL
数据库·人工智能·sql·sqlite
TTBIGDATA9 小时前
【Ambari开启Kerberos】KERBEROS SERVICE CHECK 报错
大数据·运维·hadoop·ambari·cdh·bigtop·ttbigdata
开利网络10 小时前
合规底线:健康产品营销的红线与避坑指南
大数据·前端·人工智能·云计算·1024程序员节