技术栈

Hive 中 sort by 和 order by 的区别

闭关苦炼内功2023-07-25 15:17

order by会对输入做全局排序,因此只有1个reducer(多个reducer无法保证全局有序),会导致当输入规模较大时,需要较长的计算时间。

sort by不是全局排序,其在数据进入 reducer 前完成排序。

因此,如果用 sort by 进行排序,并且设置 mapred.reduce.tasks>1, 则 sort by 只保证每个 reducer 的输出有序,不保证全局有序。


我们下期见,拜拜!

上一篇:【算法】递增序列
下一篇:华为认证HCIA-HCIP-HCIEdatacom题库解析+机构视频+实验
相关推荐
像豆芽一样优秀
11 小时前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
howard2005
1 天前
VMWare上搭建Hive集群
hive·hadoop
程序猿 董班长
3 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
XueminXu
3 天前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
KANGBboy
6 天前
hive udf 执行一次调用多次问题
数据仓库·hive·hadoop
来杯雀巢咖啡
7 天前
ubantu安装配置hive
数据仓库·hive·hadoop
chad__chang
8 天前
HIVE的Window functions窗口函数【二】
数据仓库·hive·hadoop
張萠飛
8 天前
hive on tez为什么写表时,要写临时文件到hdfs目录
hive·hadoop·hdfs
白日与明月
9 天前
Hive中的with子句
数据仓库·hive
步行cgn
10 天前
Servlet 注解:简化配置的完整指南
hive·hadoop·servlet
热门推荐
01UV安装并设置国内源022025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定 完整成品思路模型代码分享,全网首发高质量!!!032025年数学建模国赛C题超详细解题思路04A股预测还能更准?开源大模型Kronos带你跑通预测+回测全流程05不再让Windows更新!&Edge游戏助手卸载及关闭自动更新06KGG转MP3工具|非KGM文件|解密音频07UV 工具安装与国内镜像源配置指南08教你如何认证 Gemini 教育优惠的二次验证,薅个 1年的 Gemini Pro 会员092025全国大学生数学建模C题保姆级思路模型(持续更新):NIPT 的时点选择与胎儿的异常判定102025高教社杯国赛数学建模选题建议+初步分析