【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息 :ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
SM_YHJ2 小时前
RFID通道门禁与资产台账联动的自动登记技术实现方案
大数据·数据库·人工智能
liliangcsdn2 小时前
PMI参数的解读与应用分析
大数据
AI编程教父3 小时前
WorkBuddy企业培训怎么选?腾讯云公开课程与红烁AI内训对比
大数据·人工智能
大大大大晴天3 小时前
湖仓时代的数据生命周期治理:让数据留得有价值、删得有依据
大数据
Likeadust3 小时前
连锁扩张管控难?一套视频会议/直播/点播/集群对讲EasyDSS打通门店全流程数字化
大数据·媒体·easydss
yaozhicloud3 小时前
学术会议合规的三个断层,很多药企还没意识到
大数据·软件需求
龙亘川4 小时前
设备管理业务建模:从设备信息台账到维护计划执行闭环
大数据·人工智能·智慧城市·开源软件·数据可视化
yumgpkpm4 小时前
Acceldata ODP 3.3.6.4 vs CDP Private Cloud Base 7.3.2 对比
大数据·运维·服务器·hadoop·华为·zookeeper·hbase
鲲鹏ai4 小时前
盈启鲲鹏数字人招商政策
大数据·人工智能·python
时空节拍AI数字人4 小时前
数字文旅补贴来了,景区申报要注意什么?
大数据·人工智能·百度·3d·ai·架构·aigc