Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space...

连接工具以DataGrip为例,解决办法如下:

sql 复制代码
-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;

-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。

相关推荐
chad__chang1 天前
dolphinscheduler安装过程
hive·hadoop
yumgpkpm2 天前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
夫唯不争,故无尤也3 天前
Maven创建Java项目实战全流程
java·数据仓库·hive·hadoop·maven
yumgpkpm4 天前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
yumgpkpm4 天前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
板凳坐着晒太阳4 天前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop
嘉禾望岗5035 天前
hive on tez运行及hive ha搭建
数据仓库·hive·hadoop
hrrrrb6 天前
【Spring Security】Spring Security 密码编辑器
java·hive·spring
二进制_博客6 天前
spark on hive 还是 hive on spark?
大数据·hive·spark
D明明就是我7 天前
Hive 知识点梳理
数据仓库·hive·hadoop