spark sql执行引擎原理及配置

如果我们想要给上层开发人员配置好一个统一的sql开发界面,让他们统一通过sql开发即可,可通过spark中的thriftserver服务实现,与hive中的thriftserver类似,配置好该服务后,上层通过db client或者代码中通过jdbc连接即可直接使用sql操作,

该服务会去请求metastore服务得到元数据后,再将sql语句及元数据给到执行引擎,转换成rdd代码执行。

一个配置案例如下:

1.确保已经配置好了Spark On Hive

2.启动ThriftServerl即可

#直接在root账户下启动即可

$SPARK HOME/sbin/start-thriftserver.sh

--hiveconf hive.server2.thrift.port=10000

--hiveconf hive.server2.thrift.bind.host=nodel

--master local[2]

#master选择local,每一条sql都是local进程执行

#master选择yarn,每一条sql都是在YARN集群中执行

相关推荐
qq_5088234028 分钟前
金融量化指标--2Alpha 阿尔法
大数据·人工智能
好家伙VCC1 小时前
数学建模模型 全网最全 数学建模常见算法汇总 含代码分析讲解
大数据·嵌入式硬件·算法·数学建模
阿里嘎多哈基米2 小时前
SQL 层面行转列
数据库·sql·状态模式·mapper·行转列
雨落Liy3 小时前
SQL 函数从入门到精通:原理、类型、窗口函数与实战指南
数据库·sql
2301_781668614 小时前
Elasticsearch 02
大数据·elasticsearch·搜索引擎
isfox5 小时前
Google GFS 深度解析:分布式文件系统的开山之作
大数据·hadoop
用户Taobaoapi20146 小时前
京东店铺所有商品API技术开发文档
大数据·数据挖掘·数据分析
三毛20046 小时前
玳瑁的嵌入式日记D33-0908(SQL数据库)
jvm·数据库·sql
在未来等你6 小时前
Kafka面试精讲 Day 8:日志清理与数据保留策略
大数据·分布式·面试·kafka·消息队列
江畔独步7 小时前
Flink TaskManager日志时间与实际时间有偏差
大数据·flink