Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
阿坤带你走近大数据15 小时前
HiveSQL常见性能调优策略与经验
hive·sql·调优
It's Q2 天前
Hive序列函数&&排名函数
数据仓库·hive·hadoop
Irene19912 天前
外部表(EXTERNAL_TABLE)Hive 借用数据,删表不删数据
hive·内部表·外部表
Irene19912 天前
Windows 11 WSL Ubuntu 环境:实际安装 Hive 踩坑实录
hive·windows·ubuntu
Irene19913 天前
(课堂笔记)Hive 分区、分桶与数据倾斜
hive·hadoop
Irene19914 天前
在 WSL Ubuntu 上安装和使用 Hive
linux·hive·ubuntu
Irene19914 天前
(课堂笔记)Hive 基础
hive·hadoop
水火既济__5 天前
加快hive效率
数据仓库·hive·hadoop
lifewange6 天前
Hive 数据库 增删改 完整操作指南
数据库·hive·hadoop
WL_Aurora7 天前
Sqoop数据迁移工具从入门到精通
hive·hadoop·sqoop