Hive查询计划

1、EXTENDED 语句会在执行计划中产生关于算子(Operator)的额外信息,这些信息都是典型的物理信息,如文件名称等

sql 复制代码
EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] query

最外层开始,包含两个大的部分:

****stage dependencies:****各个stage之间的依赖性

****stage plan:****各个stage的执行计划

(1)TableScan:表扫描操作,map端第一个操作肯定是加载表,所以就是表扫描操作,常见的属性:

alias:表名称;

Statistics:表统计信息,包含表中数据条数,数据大小等;

(2)Select Operator:选取操作,常见的属性 :

expressions:需要的字段名称及字段类型;

outputColumnNames:输出的列名称;

Statistics:表统计信息,包含表中数据条数,数据大小等;

(3)Group By Operator:分组聚合操作,常见的属性:

aggregations:显示聚合函数信息;

mode:聚合模式,值有;

hash:随机聚合,就是hash partition;

partial:局部聚合;

final:最终聚合;

keys:分组的字段,如果没有分组,则没有此字段;

outputColumnNames:聚合之后输出列名;

Statistics:表统计信息,包含分组聚合之后的数据条数,数据大小等。

(4)Reduce Output Operator:输出到reduce操作,常见属性:

sort order:值为空 不排序;值为 + 正序排序,值为 - 倒序排序;

值为 ± 排序的列为两列,第一列为正序,第二列为倒序.

(5)Filter Operator:过滤操作,常见的属性:

predicate:过滤条件,如sql语句中的where id>=1,则此处显示(id >= 1);

(6)Map Join Operator:join 操作,常见的属性:

condition map:join方式 ,如Inner Join 0 to 1 Left Outer Join0 to 2 keys: join 的条件字段;

outputColumnNames:join 完成之后输出的字段;

Statistics:join 完成之后生成的数据条数,大小等。

(7)File Output Operator:文件输出操作,常见的属性:

compressed:是否压缩;

table:表的信息,包含输入输出文件格式化方式,序列化方式等。

(8)Fetch Operator 客户端获取数据操作,常见的属性:

limit,值为 -1 表示不限制条数,其他值为限制的条数。

2、 explain dependency的用法

explain dependency用于描述一段SQL需要的数据来源,输出是一个json格式的数据,里面包含以下两个部分的内容:

input_partitions:描述一段SQL依赖的数据来源表分区,里面存储的是分区名的列表,如果整段SQL包含的所有表都是非分区表,则显示为空。

input_tables:描述一段SQL依赖的数据来源表,里面存储的是Hive表名的列表。

3、 explain authorization 的用法

通过explain authorization可以知道当前SQL访问的数据来源(INPUTS)和数据输出(OUTPUTS),以及当前Hive的访问用户 (CURRENT_USER)和操作(OPERATION)。

相关推荐
_Kayo_2 小时前
node.js 学习笔记3 HTTP
笔记·学习
星星火柴9366 小时前
关于“双指针法“的总结
数据结构·c++·笔记·学习·算法
喂完待续6 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
Cx330❀8 小时前
【数据结构初阶】--排序(五):计数排序,排序算法复杂度对比和稳定性分析
c语言·数据结构·经验分享·笔记·算法·排序算法
小幽余生不加糖9 小时前
电路方案分析(二十二)适用于音频应用的25-50W反激电源方案
人工智能·笔记·学习·音视频
..过云雨9 小时前
01.【数据结构-C语言】数据结构概念&算法效率(时间复杂度和空间复杂度)
c语言·数据结构·笔记·学习
岑梓铭10 小时前
考研408《计算机组成原理》复习笔记,第五章(3)——CPU的【数据通路】
笔记·考研·408·计算机组成原理·计组
Blossom.11816 小时前
把 AI 推理塞进「 8 位 MCU 」——0.5 KB RAM 跑通关键词唤醒的魔幻之旅
人工智能·笔记·单片机·嵌入式硬件·深度学习·机器学习·搜索引擎
草莓熊Lotso17 小时前
《吃透 C++ 类和对象(中):const 成员函数与取地址运算符重载解析》
c语言·开发语言·c++·笔记·其他
玖別ԅ(¯﹃¯ԅ)18 小时前
PID学习笔记6-倒立摆的实现
笔记·stm32·单片机