技术栈
catalyst优化器
大数据东哥(Aidon)
17 小时前
sparksql运行原理
·
sparksql运行架构
·
sparksql执行流程
·
catalyst优化器
·
sparksql执行计划
SparkSQL运行架构及原理
SparkSQL使得我们开发人员可以使用DSL风格的数据来处理数据，甚至可以直接使用SQL风格的代码来处理数据。而无论是使用的DSL风格还是SQL风格，在底层的时候其实都是将SQL解析成为SparkCore的程序（RDD）提交到集群上去运行的。但是与直接编写SparkCore的程序不同：