【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
嘻嘻的AI日记几秒前
AI 知识库更合规:政企数据安全检索与智能应用合规体系
大数据·人工智能
xiaopai9453 分钟前
从立项到回款,工程项目管理系统能管哪些流程?
大数据·建米软件·工程项目管理系统
abcy0712136 分钟前
flink state实例
大数据·算法·flink
AC赳赳老秦18 分钟前
OpenClaw 采集任务日志审计:全程记录采集行为,满足合规溯源与企业审计要求
java·大数据·python·数据挖掘·数据分析·php·openclaw
迈巴赫车主42 分钟前
湖仓一体(Data Lakehouse)简介
大数据·数据仓库·数据湖·湖仓一体
智恒百亿1 小时前
RTX 5090服务器全场景技术解析:极致算力的行业落地与价值赋能
大数据·人工智能·5090服务器
Flink_China2 小时前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
liguojun20252 小时前
智慧文体旅系统选哪家?豆米跳跳十年技术沉淀支持源码交付
java·大数据·人工智能·物联网·1024程序员节
湘美书院--湘美谈教育3 小时前
湘美书院主理人:AI世代武侠小说的基本特征与蕴意
大数据·人工智能·深度学习·机器学习·生活
光锥智能3 小时前
AI应用WAIC“抢跑”:热闹是真,但差异化是假
大数据·人工智能