Hive-distribute by与group by,order by与sort by 的区别,cluster by

两个是完全不同的东西,group by的后续需要我们对数据进行聚合,distribute by只是把数据分到不同的reducer中去。

distribute by与group by 的区别

都是按key值划分数据 都使用reduce操作

唯一不同的是,distribute by只是单纯的分散数据,distribute by col -- 按照col列把数据分散到不同的reduce。而group by把相同key的数据聚集到一起,后续必须是聚合操作。

order by与sort by 的区别

order by是全局排序 sort by只是确保每个reduce上面输出的数据有序。如果只有一个reduce时,和order by作用一样。

cluster by

把有相同值的数据聚集到一起,并排序,效果等价于distribute by col sort by col.

即 cluster by col <==> distribute by col sort by col

转载链接

相关推荐
都是蠢货4 小时前
Servlet的生命周期
hive·hadoop·servlet
沧海寄馀生5 小时前
Apache Hadoop生态组件部署分享-Kafka
大数据·hadoop·分布式·kafka·apache
沧海寄馀生6 小时前
Apache Hadoop生态组件部署分享-Spark
大数据·hadoop·分布式·spark·apache
yumgpkpm6 小时前
接入Impala、Hive 的AI平台、开源大模型的国内厂商(星环、Doris、智谱AI、Qwen、DeepSeek、 腾讯混元、百川智能)
人工智能·hive·hadoop·zookeeper·spark·开源·hbase
沧海寄馀生6 小时前
Apache Hadoop生态组件部署分享-Sqoop
大数据·hadoop·分布式·apache·sqoop
沧海寄馀生6 小时前
Apache Hadoop生态组件部署分享-Ranger
大数据·hadoop·分布式·apache
juma900212 小时前
反激式开关电源设计全解析:从理论到实操
hadoop
还是大剑师兰特1 天前
Hadoop入门基础教程(110 问题+ 答案)
hadoop·大剑师·hadoop教程·hadoop入门
笨蛋少年派1 天前
Sqoop数据迁移简介
hive·hadoop·sqoop
zhangkaixuan4561 天前
Flink Checkpoint 全生命周期深度解析
大数据·hadoop·flink·apache·paimon