【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
呆码科技13 小时前
数据驱动决策:商贸物流软件的数据分析与预测功能
大数据·人工智能
xcbrand13 小时前
专精特新品牌全案公司有哪些
大数据·人工智能·python
动恰客流管家13 小时前
动恰 3DV3丨门店选址与展会客流统计方案:精准数据赋能实体商业科学决策
大数据·人工智能
XM_jhxx14 小时前
厦门晚报报道简会入选省首批“小快轻准”数字化产品
大数据·人工智能
ZGi.ai14 小时前
一个LLM网关需要处理哪些工程问题?多模型路由与成本归因实战
大数据·网络·人工智能
xiaoyaohou1114 小时前
024、大数据技术栈概览:Hadoop、Spark与Flink
大数据·hadoop·spark
搞科研的小刘选手14 小时前
【高届数人文社科会议】第十二届人文学科和社会科学研究国际学术会议(ICHSSR 2026)
大数据·人工智能·电子信息·电子工程·学术会议·信息工程·电路工程
亚远景aspice14 小时前
亚远景推出国内首款汽车研发合规AI全栈产品 填补和引领行业AI应用
大数据·人工智能
珠海西格电力14 小时前
红区光伏与零碳园区:管理系统如何破解分布式光伏并网困局
大数据·人工智能·分布式·物联网·能源
大大大大晴天️14 小时前
大数据分布式处理基石:分布式理论深度解析
大数据·分布式