Hive的优化:

1、开启本地模式,这样可以缩短小任务和执行时间

2、使用explain关键字来分析sql语句,然后根据执行结果来对SQL语句进行动态的调整,其中explain只有对hql也就是Hive SQL的解释,而Explain extened 不仅可以对hql语句进行解释,还有抽象表达式树的生成

3、修改hive中的fetch操作为more,减少不必要的mr操作(比如查询某字段,limit,*)

4、开启sql的严格模式这样的话可以防止写的很烂的sql语句影响了集群

5、开启JVM的重新使用,这样的话JVM就可以执行多个Tesk任务,效率就会提升

6、分区、分桶以及压缩

7、根据computeSliteSize(Math.max(minsize,Math.min(maxsize,blocksize)))=blocksize=128M的公式,调整Max的最大值来设置合理的map数量,开启小文件的合并,以及设置相对合理的reucer数

8、因为hive每次执行只会执行一个阶段,而且阶段之间都不是串行的,所以可以通过设置并行执行,这样hive可以同时执行多个stage阶段,提高了效率

9、CBO优化也就是成本优化器,开启之后会将hive执行前的执行计划自动优化,让hive的效率更高,且该功能默认开启

10、谓词下推:简单来说就是将where条件提前给执行了,然后再关联表,这样数据量就变小了

先更新这十条,其他的后续会再补上

相关推荐
juniperhan15 小时前
Flink 系列第4篇:Flink 时间系统与 Timer 定时器实战精讲
java·大数据·数据仓库·flink
juniperhan18 小时前
link 系列第7篇:Flink 状态管理全解析(原理+类型+存储+实操)
大数据·数据仓库·flink
juniperhan19 小时前
Flink 系列第6篇:Watermark 水印全解析(原理+实操+避坑)
大数据·数据仓库·flink
武子康1 天前
大数据-264 实时数仓-MySQL Binlog配置详解:从原理到实践|数据恢复与主从复制实战
大数据·hadoop·后端
武子康1 天前
大数据-265 实时数仓-Canal MySQL Binlog配置详解:从原理到实践|数据恢复与主从复制实战
大数据·hadoop·后端
晓纪同学1 天前
WPF-03 第一个WPF程序
大数据·hadoop·wpf
2501_933329552 天前
技术深度剖析:Infoseek 字节探索舆情处置系统的全链路架构与核心实现
大数据·数据仓库·人工智能·自然语言处理·架构
xiaoyaohou112 天前
024、大数据技术栈概览:Hadoop、Spark与Flink
大数据·hadoop·spark
虚幻如影2 天前
Hive 中“STRING类型无需显式指定长度
数据仓库·hive·hadoop
荒川之神2 天前
Oracle 数据仓库雪花模型设计(完整实战方案)
数据库·数据仓库·oracle