【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息 :ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
程序员IT行业5 小时前
广东行政事业单位物资管理系统选型:先定功能需求,再定部署架构
大数据·架构
橙色云-智橙协同研发5 小时前
汽车零部件行业:如何应对主机厂的严苛审核?
大数据·运维·服务器·人工智能·安全
努力变大白5 小时前
把“会说话的模型“变成“会干活的 Agent“
大数据·人工智能·机器学习
starzy19905 小时前
Flink Task 执行源码深度剖析:从 Task 线程启动到算子链执行的完整链路
大数据·flink
KING-WU5125 小时前
Git 版本控制器实战指南
大数据·git·elasticsearch
SelectDB技术团队5 小时前
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
大大大大晴天️6 小时前
每天认识一个组件:Spark Catalyst
大数据·spark
百数平台6 小时前
低代码安全技术实践:表单 / 流程 / 报表三级权限体系设计解析
java·大数据·数据库
一楼的猫6 小时前
第十一届中国教育后勤展览会杭州开幕 夏拾光影像为阿里、淘宝闪购提供云相册直播与视频服务 - 夏拾光影像
大数据·人工智能·音视频
程序 代码狂人6 小时前
金融数仓体系与核心业务知识详解
大数据·分布式·spark