Hive 常见问题

Hive 内部表和外部表的区别

• 外部表在创建时需要加关键字 external；
• 创建内部表时，会将数据移动到数据仓库指定的路径；
• 创建外部表时，不会移动数据，只会记录数据所在的路径；
• 删除内部表时，会删除元数据和数据本身；
• 删除外部表时，仅仅删除元数据，不会删除数据本身；

Hive cluster by、sort by、distribute by、order by 的区别

• order by ：全局排序，只有一个 reduce ，数据量很大时会比较慢；
• sort by ：局部排序，只保证每个 reduce 中的数据有序，不能保证全局有序；
• distribute by ：控制 map 结果分发，相同值会被分发到同一个 map ；
• cluster by ：根据指定字段将数据分组，每组内再根据该字段正序排序（只能正序），cluster by = distribute by + sort by；

Hive 分区和分桶的区别

• 分区是将 Hive 表数据分离为多个目录；
• 分桶是将对应的数据文件分解为若干个部分；
• 分区的字段必须是表中没有的字段；
• 分桶的字段必须是表中已经存在的字段；

Hive Union 和 Union all 的区别

• union ：将多个结果合并为一个，对结果去重并排序；
• union all ：将多个结果合并为一个，不对结果去重不排序；

Hive join 的原理

在 Map 阶段将 on 的字段设为 key ，然后将选择的字段作为 value 在 Reduce 阶段，相同 key 值的数据分发到同一个 Reducer；

Hive 如何优化 join 操作

• 若有大量 null key ，则先过滤或者随机赋值；
• 所是大小表 join ，可使用 MapJoin ；
• 若两张大表 join，可将倾斜的 key 过滤出来单独 join，则会分不到多个 task 进行 join 操作，最后在进行 union 操作；

Hive 的三种自定义函数及区别

• UDF ：用户自定义函数，一对一输出，例如 round；
• UDTF ：用户自定义表生产函数，一对多输出，例如 explode；
• UDAF ：用户自定义聚合函数，多对一输出，例如count，sum 等；

Hive 数据倾斜

什么是数据倾斜？

• 数据倾斜是指在分布式处理中，数据不均匀，有部分数据比较集中；
• 数据倾斜会使得在处理过程中，某个结点的处理效率过低，甚至造成内存溢出；

造成数据倾斜的原因

• 业务本身造成的；
• 建表时考虑不周，导致 key 分布不均匀；
• 某些 SQL 操作容易造成数据倾斜；

造成数据倾斜的主要操作

group by

维度过少，某些值比较大，分发到不同 Reduce 操作，造成某个 Reduce 数据倾斜；

join

某些 key 值比较多，或者 key 值存在大量 null ，join 后分发到某个 Reduce 的数据量过大；

数据倾斜的解决方法

group by 造成的数据倾斜

分组中有部分数据比较多，造成数据倾斜。这种情况可以通过调参解决：

set hive.map.aggr=true；
set hive.groupby.skewindata=true;

• hive.map.aggr=true 表示开启 map 端聚合；
• hive.groupby.skewindata=true 表示有数据倾斜时进行负载均衡，这会使得生成两个 MR job，第一个 job 会将数据随机分发到不同的 Reduce 进行聚合，可以达到负载均衡的效果；结果传入第二个 MR job ，根据预处理的数据结果按照 group by key 进行分发处理，包获赠相同的 key 分到同一个 Reduce 中，完成聚合；

join 造成的数据倾斜

有大量 null 值 join 的情况

• 数据中有大量 null 值，可以过滤掉；
• 使用随机值赋值；

大小表 join 的情况

• 可以使用 map join 将小表加载到内存中，并在 map 阶段完成 join 操作；
  例如：

 select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1  --其中b 为小表

key 值倾斜的情况

可以将倾斜的 key 过滤出来单独 join ，则会分散到多个 task 进行 join' 操作，最后再进行 union 即可；