Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
邀星月为媒1 天前
从零打造一个属于自己的 AI Agent:Core Hive Agent 开源项目解析
人工智能·hive·开源
BI专家之路1 天前
安装linux/hadoop/jdk/hive
linux·hive·hadoop
fastjson_3 天前
Hive 基础函数
数据仓库·hive·hadoop
邀星月为媒6 天前
正式迁移 Gitee:core-site-hive 与 core-hive-agent 后续更新只认这两个地址
hive·hadoop·gitee
Mr. zhihao7 天前
OOM 排查实战(大结局):从老年代爬坡到 VisualVM 引用链实锤(场景 B4)
jvm·gc·oom·mat·visulvm
fastjson_7 天前
Hive 复杂数据类型
数据仓库·hive·hadoop
hopsky7 天前
《Hive性能调优实战》核心内容详细解读
数据仓库·hive·hadoop
赤土 炙焱20 天前
hiveserver2启动失败,磁盘满了
hive·hadoop
Francek Chen20 天前
【大数据处理与分析】数据仓库Hive:02 数据湖
大数据·数据仓库·hive·hadoop·分布式·数据分析
Waay23 天前
什么是HBase?它和Hive有什么区别?
大数据·数据库·hive·hadoop·hdfs·hbase