【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
麦兜*2 分钟前
【Spring Boot】 接口性能优化“十板斧”:从数据库连接到 JVM 调优的全链路提升
java·大数据·数据库·spring boot·后端·spring cloud·性能优化
郑州光合科技余经理3 分钟前
架构解析:同城本地生活服务o2o平台海外版
大数据·开发语言·前端·人工智能·架构·php·生活
天远云服6 分钟前
Go语言高并发实战:集成天远多头借贷行业风险版API构建实时风控引擎
大数据·开发语言·golang·iphone
百***24379 分钟前
GPT-5.2国内稳定调用指南:API中转适配与成本管控实操
大数据·人工智能
昨夜见军贴06169 分钟前
IACheck AI审核:旅游行业服务规范合规升级
大数据·人工智能·旅游
云边有个稻草人11 分钟前
大数据时代下的时序数据库选型指南:为何Apache IoTDB成为最优解
大数据·apache·时序数据库·apache iotdb
努力犯错15 分钟前
如何在ComfyUI中配置LTX-2:2026年AI视频生成完整指南
大数据·人工智能·计算机视觉·语言模型·开源·音视频
予枫的编程笔记15 分钟前
Elasticsearch聚合分析与大规模数据处理:解锁超越搜索的进阶能力
java·大数据·人工智能·分布式·后端·elasticsearch·全文检索
九河云23 分钟前
华为云SDRS跨Region双活:筑牢证券核心系统零中断防线
大数据·人工智能·安全·机器学习·华为云
杂家23 分钟前
Hudi集成Flink
大数据·flink·eclipse