因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

[2023-10-16 07:56:51,530] - INFO: [HIVE] 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

[2023-10-16 07:56:52,722] - INFO: [HIVE] Execution failed with exit status: 3

[2023-10-16 07:56:52,724] - INFO: [HIVE] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

相关推荐
好记性+烂笔头21 小时前
Hive八股
hive
StableAndCalm21 小时前
什么是hive
数据仓库·hive·hadoop
Cachel wood3 天前
MySQL和Hive SQL 时间处理常用函数汇总
数据库·人工智能·hive·sql·mysql·机器学习·sklearn
梦醒沉醉3 天前
Hive QL
数据仓库·hive·hadoop
m0_548514774 天前
从0到1部署Tomcat和添加servlet(IDEA2024最新版详细教程)
hive·servlet·tomcat
三生暮雨渡瀟瀟4 天前
hive之LEAD 函数详解
hive
小技工丨4 天前
Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
数据仓库·hive·hadoop
viperrrrrrrrrr74 天前
大数据学习(53)-Hive与Impala
大数据·hive·学习·impala
不爱学习的小枫5 天前
Hive-优化(参数优化篇)
大数据·数据仓库·hive
梦醒沉醉5 天前
Beeline的使用和Hive JDBC
数据仓库·hive·hadoop