因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
q***76661 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
q***37510 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
yumgpkpm2 天前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比
大数据·hive·hadoop·elasticsearch·kafka·hbase·cloudera
yumgpkpm3 天前
Hadoop大数据平台在中国AI时代的后续发展趋势研究CMP(类Cloudera CDP 7.3 404版华为鲲鹏Kunpeng)
大数据·hive·hadoop·python·zookeeper·oracle·cloudera
KANGBboy4 天前
ES 总结
hive·elasticsearch
码·蚁5 天前
SpringMVC
数据仓库·hive·hadoop
yumgpkpm7 天前
CMP(类Cloudera CDP 7.3 404版华为泰山Kunpeng)和Apache Doris的对比
大数据·hive·hadoop·spark·apache·hbase·cloudera
梦里不知身是客118 天前
spark读取table中的数据【hive】
大数据·hive·spark
yumgpkpm8 天前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
小湘西9 天前
在 Hive 中NULL的理解
数据仓库·hive·hadoop