Hive优化高频面试题

文章目录


一、开启本地模式

数据量小的hive查询,集群模式浪费资源而且执行速度慢,此时可以开启本地模式,在单台机器上执行处理任务,执行时间会缩短。

二、explain分析sql语句

三、修改Fetch操作

Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算,在hive-site.xml文件中hive.fetch.task.conversion属性默认是more,在全局查找、字段查找、limit查找等都不走mapreduce

四、开启hive的严格模式

防止写的烂sql影响集群,开启严格模式以后,以下情况多报SQL错误:

1)分区表不使用分区过滤

2)使用order by没有limit过滤

3)笛卡尔积不允许出现 (select * from emp,dept)

五、JVM重用

jvm重用就是一个虚拟机开启以后,执行多个task任务,再关闭。大大提高执行效率

六、分区、分桶以及压缩

压缩分为map阶段的压缩和reduce阶段的压缩

压缩格式有bzip2、gzip、snappy、lzo

七、合理设置map和ruduce的数量

当input文件很大,任务逻辑复杂,map执行非常慢的时候,可以增加map数量,使每个map处理的数据量减少,提高任务的执行效率

过多的启动和初始化reduce也会消耗时间和资源,所以需要合理的设置reduce的数量

八、设置并行执行

set hive.exec.parallel=true;

set hive.exec.parallel.thread.number=16;

九、CBO优化-成本优化器

可以自动优化HQL中多个Join的顺序,并选择合适的Join算法。

十、谓词下推

所谓的谓词下推就是将where条件提前执行,比如先执行where过滤,再进行join关联

通过谓词下推,过滤条件将在map端提前执行,减少了map端的输出,降低了数据IO,节约资源,提升性能。

十一、小表join大表--使用MapJoin

Map Join :小表进行缓存并发送到各个节点,将数据量小的表放在join的左边,在map端进行join,只有map没有reduce,所有没有Shuffle的过程

十二、大表join大表--使用SMB Join

分桶表join:创建两个分桶表,把大表的数据导入进去,然后让分桶表和分桶表进行join,速度会快,当然在执行之前,需要开启smb join的设置。

十三、列裁剪与分区裁剪

列裁剪就是在查询时只读取需要的列,分区裁剪就是只读取需要的分区。

sql 复制代码
-- 列裁剪
select name,age from emp;
-- 分区裁剪
select * from emp where dept='技术部';

十四、避免数据倾斜

1、数据倾斜的表现

数据倾斜是由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点的现象。

2、数据倾斜的原因和解决方案

1)数据类型不一致造成数据倾斜

原因:两个表join时,on后面用来连接的两个字段类型不一致

解决办法:把类型转成一致的

如:

sql 复制代码
select * from users a join logs b on a.usr_id = cast(b.user_id as int)

2)数据中出现大量的null值

第一种情况:

null是异常值:比如userid出现null

解决方法:提前使用where过滤

如:

select * from (select * from user where id is not null) n join

bigtable o on n.id = o.id;

第二种情况:

出现null的数据不是异常数据,需要保留

解决方法:对应为null的数据随机赋一个表中不可能存在的值

如:

sql 复制代码
select n.* from nullidtable n full join bigtable o on  nvl(n.id,rand()) = o.id;

如果id为空,则赋一个0~1之间的随机数字,不包含1,这个数字是id列不可能出现的数字

3)单表group by 出现数据倾斜

原因:按照 Key 分组以后,少量的任务负责绝大部分数据

解决方法:

第一种:使用参数优化

当任务中存在group

by操作同时聚合函数为count或者sum时,可以使用Combine(运行在map端的reduce)操作,在map端提前进行聚合

sql 复制代码
-- 是否在Map端进行聚合,默认为True
set hive.map.aggr = true
-- 在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000
-- 有数据倾斜的时候进行负载均衡(默认是false)
set hive.groupby.skewindata = true

第二种:

增加Reduce数量

4)多表join出现数据倾斜

大表join小表:

可以使用MapJoin,没有Reduce阶段就不会出现数据倾斜

还可以使用大表打散,小表扩容

大表join大表:

使用smb join:

分桶表join:创建两个分桶表,把大表的数据导入进去,然后让分桶表和分桶表进行join,速度会快,当然在执行之前,需要开启smb join的设置。

相关推荐
Yz98763 小时前
hive复杂数据类型Array & Map & Struct & 炸裂函数explode
大数据·数据库·数据仓库·hive·hadoop·数据库开发·big data
EDG Zmjjkk4 小时前
Hive 函数(实例操作版2)
数据仓库·hive·hadoop
那一抹阳光多灿烂19 小时前
Spark核心组件解析:Executor、RDD与缓存优化
hadoop·spark
Yz987620 小时前
Hive分桶超详细!!!
大数据·数据仓库·hive·hadoop·hdfs·数据库开发·big data
Francek Chen20 小时前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
出发行进1 天前
Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录
大数据·linux·hadoop·flink·虚拟机
闲人编程1 天前
Hadoop 使用过程中 15 个常见问题的详细描述、解决方案
大数据·hadoop·eclipse·解决方案·yarn·配置文件
橘子海全栈攻城狮1 天前
【源码+文档+调试讲解】基于Hadoop实现的豆瓣电子图书推荐系统的设计与实现
大数据·数据库·hadoop·spring boot·分布式·后端
二进制_博客1 天前
hadoop集群搭建
java·大数据·hadoop
qq_q9922502771 天前
django基于Hadoop 的国产电影数据分析与可视化
hadoop·数据分析·django