【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息 :ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
W***259213 分钟前
2026企业AI办公工具选型指南:适合团队使用的AI办公产品有哪些
大数据·人工智能
2601_9629666422 分钟前
2027校招:数据科学与大数据技术专业转增长运营,从SQL到业务技能与证书准备
大数据
Smoothcloud润云1 小时前
GPU算力平台推荐:新手租GPU时,镜像环境和显存应该怎么选?
大数据·人工智能·pytorch·分布式·深度学习·gpu算力
猴子15516811 小时前
问卷系统集成到底该选哪一家?2026先想清要接什么系统再横评
大数据·经验分享
科创致远1 小时前
2026轻MES行业数字化转型痛点与ROI报告 ——面向中小制造企业的轻量化生产管理与价值评估
大数据·人工智能·制造
ha_lydms2 小时前
Table Functions(表函数)
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute
GOWIN革文品牌咨询2 小时前
长周期B2B线索培育的系统设计:状态字段、触发器与转交条件
大数据·架构
程序员大阳3 小时前
副队长大数据教程(6)--四节点分布式集群搭建
大数据·分布式·集群·搭建·四节点
科技看点说3 小时前
SAP B1如何支撑高科技与精密制造?项目、物料、委外与成本管理解析
大数据·人工智能
益莱储中国4 小时前
益莱储任命 Vincent Kwa为亚太区副总裁兼总经理
大数据·人工智能