Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
虚幻如影1 天前
Hive 中“STRING类型无需显式指定长度
数据仓库·hive·hadoop
Yang三少喜欢撸铁5 天前
【Centos7通过kubeadm方式部署kubernetes1.30版本【一主两从】】
docker·kubernetes·container
别抢我的锅包肉7 天前
【MySQL】第四节 - 多表查询、多表关系全解析
数据库·mysql·datagrip
橘子编程7 天前
Hive大数据实战指南:从入门到精通
大数据·hive·hadoop
橘子编程7 天前
Apache Hadoop知识全解析
大数据·hive·hadoop·apache
dovens7 天前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
Joy T9 天前
【大数据】离线数仓核心组件:Hive 架构解析与进阶操作指南
大数据·数据仓库·hive·hadoop·架构
jasnet_u9 天前
在Hadoop3.3.6上搭建Hive3.1.2
hive·hadoop
二进制_博客10 天前
使用Datax批量将mysql数据导入hive
数据库·hive·mysql
talen_hx29610 天前
《零基础入门Spark》学习笔记 Day 10
大数据·hive·笔记·学习·spark