【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
AI职业加油站12 分钟前
算力底座建设落地:机器学习工程师证书的政策背景与应用价值
大数据·人工智能·职场发展
IT研究室18 分钟前
最新大数据毕业设计选题推荐-基于大数据的培训机构信息分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·数据分析·spark·课程设计
程序员梅雨21 分钟前
大数据修炼之路(二):HDFS 核心架构与面试详解
大数据·hdfs
李博士每天要洗澡28 分钟前
AI Agent 怎样参与视频剪辑?从任务描述、MCP 到可编辑时间线
大数据·人工智能·ai·django·pygame
Gl�ria43 分钟前
Hive SQL 执行卡住完整排查 & 处理
hive·hadoop·sql
云上先途12 小时前
属性标注是什么?主要解决什么问题?
大数据·人工智能
大大大大晴天14 小时前
每天认识一个组件:元数据平台OpenMetadata
大数据
接口不宕机15 小时前
1688 商品列表 API 对接商家 ERP,实现店铺商品同步与上下架自动监控
大数据
河南花仙子科技16 小时前
企业定制小游戏助力品牌软性传播
大数据·科技·游戏·小程序
云上先途17 小时前
标签化服务适合哪些人?常见适用场景一次讲清
大数据·人工智能·算法·音视频