Hive谓词下推

Hive谓词下推

1、情景描述

在实际数仓开发中,我们经常会遇到多表关联,这个时候就会涉及到where与on的使用

Hive中的where与on在HQL中的区别为:

  • 相同点
    • where与on都是用作筛选条件
  • 不同点
    • on会显示所有匹配条件的值,不匹配条件的数据补NULL;where只显示满足条件的数据
    • on作用不同类型的多表连接时结果不同;where只起连接作用,不同类型的多表连接时结果相同

首先,我们来看一个例子:使用a表最新分区数据关联b表:

写法一:

sql 复制代码
select * from a join b on a.id=b.id where a.dt='20231101'

写法二:

sql 复制代码
select * from a join b on a.id=b.id and a.dt='20231101'

写法三:

sql 复制代码
select * from (select * from a where dt='20231101') t join b on t.id=b.id

三种写法的结果是等同的,也没有问题。如果需要以a表作为主表,关联查询b表,只需要修改连接类型为左外连接就可以了

但三种写法存在效率上的差异!

写法一与写法三都为高效写法,Hive只会取指定分区的数据进行join

写法二则效率较低,Hive先会查出所有数据进行join,然后再去过滤指定分区的数据

这可以通过explain执行计划证明:

从执行计划可以得出,写法一的分区数据在一开始扫描时候就已经过滤了。而写法二会拿所有的数据进行查询join,最后再进行过滤

这种将过滤表达式提前执行的过程我们称为谓词下推

2、Hive谓词下推

2.1、什么是谓词下推

谓词下推(Predicate Pushdown,PPD)是指将过滤表达式尽可能移动至靠近数据源的位置,以使真正执行时能直接跳过无关的数据。简而言之,就是在合适的场景下,优先执行过滤条件

2.2、Hive谓词下推

在Hive生成物理执行计划中,有一个配置项用于管理谓词下推优化是否开启:

sql 复制代码
set hive.optimize.ppd=true;

需要注意的是,Hive的PPD控制参数默认开启

3、谓词下推生效场景分析

相关推荐
深蓝易网7 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
青云交31 分钟前
Java 大视界 -- Java 大数据在智能电网电力市场交易数据分析与策略制定中的关键作用(162)
java·大数据·数据分析·交易策略·智能电网·java 大数据·电力市场交易
宝哥大数据1 小时前
Flink内存模型--flink1.19.1
大数据·flink
一个天蝎座 白勺 程序猿1 小时前
大数据(4.5)Hive聚合函数深度解析:从基础统计到多维聚合的12个生产级技巧
大数据·hive·hadoop
爱编程的王小美1 小时前
用户行为分析系统开发文档
大数据
白雪讲堂2 小时前
AI搜索品牌曝光资料包(精准适配文心一言/Kimi/DeepSeek等场景)
大数据·人工智能·搜索引擎·ai·文心一言·deepseek
浩浩kids4 小时前
Hadoop•踩过的SHIT
大数据·hadoop·分布式
qr9j422334 小时前
elasticsearch 如果按照日期进行筛选
大数据·elasticsearch·jenkins
DavidSoCool4 小时前
es分页边界数据重复问题处理
大数据·elasticsearch·搜索引擎
路由侠内网穿透4 小时前
本地部署开源流处理框架 Apache Flink 并实现外部访问
大数据·网络协议·tcp/ip·flink·服务发现·apache·consul