【大数据面试题】012 谈谈 Hive 性能优化常用的方法

一步一个脚印,一天一道面试题

  • 数据分区和分桶:合适的分区和分桶能减少数据量的输入

  • 合适的数据格式:Parquet,ORC 是可以减少 I/O ,网络传输速率等的

  • 列裁剪:一般不要使用 SELECT *,只获取真正需要的列

  • 文件合并 :使用 INSERT OVERWRITE 可以减少小文件数量,提高效率

  • 数据过滤 :使用 WHERE 过滤,简单却有效

  • 并行度设置:合理的并行度设置可以更好的利用集群性能,否则可能会"有力使不出"或"杀鸡用牛刀"的情况

  • 数据本地化和 JOIN 化:尽量在本地节点做更多的操作,减少网络传输等开销,比如使用 mapjoin;

  • 定期收集统计信息ANALYZE TABLE 收集表的信息,可以让优化器更可能做出更好的查询计划;

相关推荐
tg_xianheyun4 小时前
腾讯云国际账号注册代充值服务商怎么选?
大数据·运维·服务器·云计算·github·腾讯云·cdn加速
-今昭-4 小时前
Hadoop HDFS 高可用实战指南
运维·hadoop·hdfs·负载均衡
赛逸会展s4 小时前
2027北京AI健康科技与智慧医疗展6月举办:全周期对接体系保障高转化率
大数据·人工智能·科技
智购科技自动售货机工厂4 小时前
2026自动售货机电机驱动芯片选型:从L298N到DRV8870的工程实践~YH
大数据·开发语言·数据库·人工智能·单片机·嵌入式硬件·scikit-learn
用户3610588626125 小时前
SparkSQL 之 UDF、UDAF 函数代码实现
大数据
程序员z75 小时前
Elasticsearch 倒排索引详解
大数据·elasticsearch·搜索引擎
OpenPie|拓数派5 小时前
拓数派入选杭州国际数据标注联盟副理事长单位,夯实πDataCS本体能力
大数据·人工智能·openpie·拓数派·piedatacs
TDengine (老段)5 小时前
TDengine 应用案例 — IoT 设备监控
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
微石科技5 小时前
体征监测设备厂家怎么选?宁波市微石科技:专业级硬件,全品类可定制
大数据·人工智能·科技
智搜广告5 小时前
AI回答优化公司智搜广告让品牌成为推荐首选
大数据·人工智能·python·elasticsearch·geo