Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
计算机毕设残哥18 小时前
【Spark+Hive+hadoop】人类健康生活方式数据分析
大数据·hive·hadoop·python·数据分析·spark·dash
心止水j1 天前
hive的安装
数据仓库·hive·hadoop
大数据CLUB1 天前
基于hive和mapreduce的地铁数据分析及可视化
大数据·hive·hadoop·分布式·数据分析·mapreduce
想去的远方1 天前
hive调优系列-3.HQL语法和运行参数层面
大数据·数据仓库·hive·hadoop
想去的远方2 天前
hive调优系列-1.调优须知
大数据·数据仓库·hive·hadoop
嘉禾望岗5032 天前
hive架构及搭建
hive·hadoop·架构
孟意昶2 天前
Spark专题-第二部分:Spark SQL 入门(2)-算子介绍-Scan/Filter/Project
大数据·hive·分布式·sql·spark
Yuyang_Leo3 天前
Hive的优化:
数据仓库·hive·hadoop
boonya3 天前
Apache Hive 如何在大数据中发挥能量
hive·hadoop·apache
boonya3 天前
Apache Hive 能否脱离开Hadoop集群工作
hive·hadoop·apache