因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
houzhizhen10 小时前
Hive PredicatePushDown 谓词下推规则的计算逻辑
hive
.又是新的一天.20 小时前
02_Servlet
hive·hadoop·servlet
wuli玉shell20 小时前
Bitmap原理及Hive去重方式对比
数据仓库·hive·hadoop
尘客.1 天前
DataX从Mysql导数据到Hive分区表案例
数据库·hive·mysql
钊兵2 天前
hivesql是什么数据库?
大数据·hive
IvanCodes4 天前
九、HQL DQL七大查询子句
大数据·数据库·hive
火龙谷4 天前
【hadoop】sqoop案例 hive->mysql
hive·hadoop·sqoop
IvanCodes5 天前
六、Hive 分桶
大数据·hive
IvanCodes5 天前
七、深入 Hive DDL:管理表、分区与洞察元数据
数据仓库·hive·hadoop
若兰幽竹6 天前
【HBase整合Hive】HBase-1.4.8整合Hive-2.3.3过程
数据库·hive·hbase