1.hive如何自定义函数
2.hive优化
3.hive数据倾斜
1.数据倾斜的表现
数据倾斜是由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点的现象。 主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面Yarn(8088)，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。
2.出现的原因
1）数据类型不一致造成数据倾斜
2）数据中出现大量的null值
3）单表group by 出现数据倾斜
第一种方案：使用参数优化
第二种方案：增加Reduce数量
4）多表join出现数据倾斜
解决方案一：使用参数解决
解决方案二：大小表join
解决方案三：大表大表join