Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
看海的四叔1 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
曹牧3 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop
隐于花海,等待花开6 天前
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析
大数据·hive
隐于花海,等待花开6 天前
17.DATE_FORMAT 函数深度解析
大数据·hive
隐于花海,等待花开7 天前
15.TO_DATE 函数深度解析
大数据·hive
YJlio8 天前
1 4.1 微软商店的使用(Microsoft Store:下载/安装/管理应用与游戏)
运维·hive·hadoop·windows·游戏·microsoft·计算机外设
看海的四叔8 天前
【SQL】SQL的日期与时间函数
数据库·hive·sql·数据分析·时间函数·日期函数
看海的四叔8 天前
【SQL】SQL-常见窗口函数有哪些-上篇
数据库·hive·sql·mysql·数据分析·窗口函数
It's Q8 天前
hive学习分区&&函数
hive·hadoop·学习
隐于花海,等待花开9 天前
5.TRIM / LTRIM / RTRIM 函数深度解析
大数据·hive