【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
径硕科技JINGdigital10 分钟前
B2B工业制造企业GEO供应商排名审视:以专业交付能力为核心的选型指南
大数据·人工智能·科技
物联网软硬件开发-轨物科技26 分钟前
【轨物洞见】从“人工时代”迈向“视觉语音时代”:轨物科技多模态智能感知与一键顺控专家系统全解析
大数据·人工智能·科技
D愿你归来仍是少年28 分钟前
Apache Spark 第六章:执行计划与 DAG 调度
大数据·spark
redsea_HR39 分钟前
红海eHR解决方案背后的底层能力
大数据·数据库·人工智能
无忧智库1 小时前
破局与重构:大型企业级数字化业务运营平台的深度解构与演进之路(WORD)
大数据·架构
跨境卫士—小依1 小时前
标题与卖点不聚焦如何重构核心卖点逻辑
大数据·人工智能·跨境电商·亚马逊·营销策略
H_老邪1 小时前
Elasticsearch 本地安装配置
大数据·elasticsearch·搜索引擎
新诺韦尔API2 小时前
手机号携号转网接口对接常见问题一览
大数据·api
企业培训大师2 小时前
深度拆解智能防作弊系统:从技术底层到场景落地
大数据