【Spark】Spark SQL执行计划-精简版

Spark SQL分为四个子项目:

Catalyst (sql/catalyst):

  • Catalyst 是 Spark SQL 使用的功能性、可扩展的查询优化器。它是一个与实现无关的框架,用于操作关系运算符和表达式的树。包括两部分:用来表示树的函数库和应用于该树的规则库

Execution (sql/core):

  • 查询计划程序/执行(planner / execution)引擎,用于将Catalyst的逻辑查询计划转换为Spark RDD代码。该组件还包括一个新的公共接口 SQLContext,它允许用户针对现有的 RDD和Parquet文件执行SQL或LINQ语句。

Hive支持 (sql/ Hive):

  • 包括名为 HiveContext 的 SQLContext 扩展,允许用户使用 HiveSQL 的子集编写查询并使用 Hive SerDes 从 Hive Metastore 访问数据。还有一些包装器允许用户运行包含 Hive UDF、UDAF 和 UDTF 的查询。

HiveServer和CLI支持 (sql/hive-thriftserver)

  • 包括对 SQL CLI (bin/spark-sql) 和 HiveServer2(用于 JDBC/ODBC)兼容服务器的支持。

SparkSQL执行过程:

Parser: 利用Antlr4对SQL语句进行词法和语法的解析,抽象成AST语法树并转换成Unresolved Logical Plan;
Analyzer:Catalyst要结合DataFrame的Schema信息,来确认计划中的表名、字段名、字段类型与实际数据是否一致,完成确认之后,将 Unresolved Logical Plan 解析成 Analyzed logical plan;
Optimizer:Catalyst基于一些既定的启发式规则将 Analyzed logical plan 解析成 Optimized Logical Plan;规则:如谓词下推,列减裁,常量替换;
Planner:

  • 在优化Spark Plan的过程中,Catalyst基于既定的优化策略(Strategies),把逻辑计划中的关系操作符一一映射成物理操作符,生成Spark Plan;优化策略(Strategies)如下:
    • SpecialLimits:指定Limit策略
    • InMemoryScans:缓存策略
    • Aggregation:聚合策略
    • JoinSelection:Join策略选择
    • BasicOperators:逻辑到物理操作符的映射,如Project、Filter、Sort等
  • 在生成Physical Plan过程中,Catalyst再基于事先定义的Preparation Rules,对Spark Plan做进一步的完善、生成可执行的Physical Plan。Preparation Rules如下:
    • EnsureRequirements:验证输出的分区(partition)和我们要的分区是不是一样,不一样的话需要添加shuffle重分区,如果有排序需求,要添加Sort操作,
    • CollapseCodegenStages:全阶段代码生成(Whole Stage Code Generation)
    • ReuseExchange:内存或磁盘复用,
    • ReuseSubquery:子查询复数用
    • PlanSubqueries:生成子查询
    • ExtractPythonUDFs :提取Python的UDF函数
      Code Generation:选定最优的物理执行计划,准备生成字节码去开始执行
相关推荐
yyk3332415 分钟前
Flink详细讲解
大数据·flink
codeejun25 分钟前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang
用户46043852250862 小时前
关于paimon-rust 数据写入链路
大数据
Decay__2 小时前
SQLServer 监控体系构建 —— sql_exporter + Prometheus + Grafana 全栈实战
运维·数据库·sql·mysql·架构
数字融合3 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏4 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研4 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏5 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend5 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
数字新视界1 天前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统