因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
一颗宁檬不酸9 小时前
《Java Web 期末项目分享:MVC+DBUtils+c3p0 玩转数据库增删改查》——第一弹
数据仓库·hive·hadoop
丸码9 小时前
Servlet生命周期全解析
数据仓库·hive·hadoop
士心凡9 小时前
Hive教程
数据仓库·hive·hadoop
清平乐的技术专栏1 天前
hive中with as用法及注意事项
数据仓库·hive·hadoop
larance1 天前
spark 支持hive
hive·spark
howard20051 天前
7.1 Hive内置函数
hive·内置函数
larance1 天前
HIVE 基础
数据仓库·hive·hadoop
跟着珅聪学java2 天前
Logback日志配置教程
数据仓库·hive·hadoop
yumgpkpm2 天前
腾讯TBDS和CMP(Cloud Data AI Platform,类Cloudera CDP,如华为鲲鹏 ARM 版)比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·oracle·kafka·hbase
心止水j2 天前
hive案例
数据仓库·hive·hadoop