【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
珐恩AI-人工智能1 分钟前
2026AI检索变局:为什么传统营销失效?GEO生成式优化落地逻辑与避坑指南
大数据·人工智能·geo优化
让头发掉下来1 小时前
Flink SQL 中两个频繁变化 Topic 的 Join 行为分析
大数据·数据库·sql·flink
GrowthRadar1 小时前
海外广告精细化投放:支持曝光量估算的素材监测工具深度对比
大数据·人工智能·移动广告情报工具·广告素材监测工具·海外广告情报
znhb991 小时前
焦化厂如何做好脱硫脱硝的精准控制?
大数据·人工智能
专注数据的痴汉1 小时前
「数据下载」武汉统计年鉴(2009-2025)
大数据·人工智能·信息可视化
湘美书院--湘美谈教育3 小时前
湘美书院人工智能访谈录:成功解决一个对的问题
大数据·人工智能·深度学习·生活·ai写作
河北品高电子安安3 小时前
智慧井盖:物联网技术赋能城市地下管网安全监测
大数据·物联网·安全
lvts_cs3 小时前
从空间到生态:绿天使八大服务体系如何重构产业园区运营价值
大数据·重构
半亩码田3 小时前
【.NET新特性·第10篇】.NET 10 概览:LTS 版本的全面进化
大数据·.net
数字化转型分享点滴3 小时前
聚焦机加工MES系统:四化信息科技以服务数字化转型
大数据·人工智能·python·科技