Hive面试问题

1.hive如何自定义函数

2.hive优化

3.hive数据倾斜

1.数据倾斜的表现

数据倾斜是由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点的现象。 主要表现:任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面Yarn(8088),发现只有少量 reduce 子任务未完成,因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大,通常达到好几倍之多,最长时间远大于平均时长。

2.出现的原因

1)数据类型不一致造成数据倾斜

2)数据中出现大量的null值

3)单表group by 出现数据倾斜

第一种方案:使用参数优化

第二种方案:增加Reduce数量

4)多表join出现数据倾斜

解决方案一:使用参数解决

解决方案二:大小表join

解决方案三:大表大表join

4.hive中的mapjoin、commonjoin、smbjoin

5.datax同步数据的策略

相关推荐
时差95313 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
苍老流年13 小时前
Hive中各种Join的实现
数据仓库·hive·hadoop
静听山水14 小时前
Hive:UDTF 函数
hive
EDG Zmjjkk15 小时前
Hive 查询(详细实操版)
数据仓库·hive·hadoop
lzhlizihang16 小时前
【Hive sql 面试题】求出各类型专利top 10申请人,以及对应的专利申请数(难)
大数据·hive·sql·面试题
Hsu_kk16 小时前
Hive 查询各类型专利 Top 10 申请人及对应的专利申请数
数据仓库·hive·hadoop
静听山水16 小时前
Hive 的数据存储单元结构
hive
大数据编程之光16 小时前
Hive 查询各类型专利 top10 申请人及专利申请数
大数据·数据仓库·hive·hadoop
杰克逊的日记16 小时前
Hive详解
数据仓库·hive·hadoop
上辈子杀猪这辈子学IT16 小时前
【Zookeeper集群搭建】安装zookeeper、zookeeper集群配置、zookeeper启动与关闭、zookeeper的shell命令操作
linux·hadoop·zookeeper·centos·debian