hive中常见参数优化总结

1.with as 的cte优化,一般开发中习惯使用with as方便阅读,但如果子查询结果在下游被多次引用,可以使用一定的参数优化手段减少表扫描次数

默认set hive.optimize.cte.materialize.threshold=-1;不自动物化到内存,一般可以设置为

set hive.optimize.cte.materialize.threshold=0;开启物化到内存操作,但执行时是否开启与3个条件相关

(1)子查询复杂程度

(2)下游对子查询的依赖程度

(3)子查询结果的数据大小

2.join相关优化,开启自动翻转join参数,并重新设定小表的限定值

set hive.auto.convert.join=true;

set hive.mapjoin.smalltable.filesize=50000000;

join时候产生了数据倾斜可以使用以下两个参数指定倾斜的字段名称,设定分桶数量,甚至可以指定倾斜的值

SET hive.skewedjoin.key = id;

SET hive.skewedjoin.num.buckets = 2;

set hive.skewedjoin.value=xxx;

例:

SELECT * FROM table1 JOIN table2 ON table1.id = table2.id;

3.开启向量化查询优化,默认不开启,开启后可以批量读取数据,默认大小是1024条,也可以调整为更大

set hive.vectorized.execution.enabled = true;

set hive.vectorized.execution.reduce.enabled = true;

4.设定任务优先级

SET mapreduce.job.priority=VERY_HIGH;

5.hive自动优化参数设置,

set hive.stats.autogather=false;

set hive.stats.column.autogather=false;

参数用于控制Hive是否自动收集表和分区的统计信息、是否自动收集列的统计信息。统计信息可以帮助Hive的优化器更好地制定查询计划。

false意味着Hive不会自动收集统计信息。你需要手动运行ANALYZE TABLE命令来收集统计信息。

set hive.cbo.enable=false;

当 hive.cbo.enable 设置为 false 时,意味着Hive将不会使用CBO来优化查询计划。相反,Hive将使用一种称为"规则基础的优化器"(Rule-Based Optimizer,简称RBO)的方法来优化查询。RBO依赖于预定义的规则来重写或转换查询,而不是基于统计信息和成本评估来选择最佳的执行计划。

6.reduce相关优化参数

set hive.exec.reducers.max=9999;一般设置为集群中 Worker 节点数量的 2 到 3 倍。

set hive.exec.reducers.bytes.per.reducer=524288000;默认值是256MB

set hive.shuffle.compress=true;启用shuffle阶段的压缩操作

set hive.map.aggr=true;聚合函数可以应用于 Map 端,减少 Reduce 阶段的数据量和计算量,但对于不支持 Map 端聚合的聚合函数需要关闭。

7.时候的一些优化

相关推荐
DataY轻量数据平台5 小时前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏8 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流10 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
starzy199012 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏2 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技4 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
上海潭龙东海科技有限公司4 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
freejackman9 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816312 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive