【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
一路向北finish42 分钟前
《CentOS 7 搭建 Hadoop 3.3.6 分布式集群:NFS 共享方案完整实操》
linux·运维·hadoop·分布式·centos
HiDev_1 小时前
【非标自动化】2、认识元器件(液压泵和液压阀)
大数据·人工智能·自动化
ZhiMuZhiLing1 小时前
数据驱动的B2B客户画像:行业、规模、时间、地域维度解析
大数据·创业创新·流量运营
晓子文集1 小时前
Tushare接口文档:每日涨跌停价格(stk_limit)
大数据·数据库·金融数据·量化投资
IanSkunk1 小时前
眼视光设备全周期台账:从验收入库到使用效果数据化的管理闭环
大数据·网络·人工智能
拓人间精准客1 小时前
2025–2026 ToB 精准拓客实战手册:用“企业数据画像 + 动态筛选“击穿七大行业获客内卷
大数据·数据库·人工智能
天涯明月19931 小时前
Ray 架构解析——以动态任务图统一 AI 计算的分布式框架
大数据·人工智能·分布式·架构·ray
浩腾数字多媒体2 小时前
如何判断专业电子留言厂家适配条件?
大数据·人工智能·python
@insist1232 小时前
系统集成项目管理工程师-变更管理
大数据·软考·系统集成项目管理工程师·软考中项·软件水平考试
千里码aicood2 小时前
基于深度学习的中文命名实体识别技术研究
大数据·深度学习·机器学习