Hive企业级调优[3]—— Explain 查看执行计划

Explain 查看执行计划

Explain 执行计划概述

EXPLAIN 命令呈现的执行计划由一系列 Stage 组成。这些 Stage 之间存在依赖关系,每一个 Stage 可能对应一个 MapReduce Job 或者一个文件系统的操作等。如果某 Stage 对应了一个 MapReduce Job,则该 Job 在 Map 端和 Reduce 端的计算逻辑分别由 Map Operator Tree 和 Reduce Operator Tree 描述。Operator Tree 包含了一系列 Operator,每个 Operator 表示 Map 或 Reduce 阶段中的一个单独逻辑操作,如 TableScan Operator、Select Operator、Join Operator 等。

常见的 Operator 及其作用如下:

  • TableScan:表扫描操作,通常在 Map 端的第一个操作是表扫描。
  • Select Operator:选取操作。
  • Group By Operator:分组聚合操作。
  • Reduce Output Operator:输出到 Reduce 操作。
  • Filter Operator:过滤操作。
  • Join Operator:Join 操作。
  • File Output Operator:文件输出操作。
  • Fetch Operator:客户端获取数据操作。
基本语法
sql 复制代码
EXPLAIN [FORMATTED | EXTENDED | DEPENDENCY] query-sql

其中,FORMATTEDEXTENDEDDEPENDENCY 是可选关键字,各自的作用如下:

  • FORMATTED:将以 JSON 字符串形式输出执行计划。
  • EXTENDED:输出执行计划中的额外信息,通常是读写文件名等信息。
  • DEPENDENCY:输出执行计划中读取的表及分区。
案例实操

1)查看以下 SQL 语句的执行计划:

sql 复制代码
hive (default)> explain
select
    user_id,
    count(*)
from order_detail
group by user_id;

2 )执行计划如下图

相关推荐
zskj_qcxjqr1 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人
每日新鲜事1 小时前
Saucony索康尼推出全新 WOOOLLY 运动生活羊毛系列 生动无理由,从专业跑步延展运动生活的每一刻
大数据·人工智能
在未来等你2 小时前
Kafka面试精讲 Day 15:跨数据中心复制与灾备
大数据·分布式·面试·kafka·消息队列
计算机编程-吉哥4 小时前
大数据毕业设计-基于Python的中文起点网小说数据分析平台(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·hadoop·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
鸿乃江边鸟5 小时前
Flink中的 BinaryRowData 以及大小端
大数据·sql·flink
MicroTech20256 小时前
微算法科技(NASDAQ: MLGO)采用量子相位估计(QPE)方法,增强量子神经网络训练
大数据·算法·量子计算
b***25116 小时前
深圳比斯特|多维度分选:圆柱电池品质管控的自动化解决方案
大数据·人工智能
Agatha方艺璇6 小时前
Hive基础简介
数据仓库·hive·hadoop
Flink_China6 小时前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
大数据·flink
jiedaodezhuti8 小时前
Flink Checkpoint失败问题分析与解决方案
大数据·flink