因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

[2023-10-16 07:56:51,530] - INFO: [HIVE] 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

[2023-10-16 07:56:52,722] - INFO: [HIVE] Execution failed with exit status: 3

[2023-10-16 07:56:52,724] - INFO: [HIVE] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

相关推荐
时差95316 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
苍老流年16 小时前
Hive中各种Join的实现
数据仓库·hive·hadoop
静听山水17 小时前
Hive:UDTF 函数
hive
EDG Zmjjkk18 小时前
Hive 查询(详细实操版)
数据仓库·hive·hadoop
lzhlizihang19 小时前
【Hive sql 面试题】求出各类型专利top 10申请人,以及对应的专利申请数(难)
大数据·hive·sql·面试题
Hsu_kk19 小时前
Hive 查询各类型专利 Top 10 申请人及对应的专利申请数
数据仓库·hive·hadoop
静听山水19 小时前
Hive 的数据存储单元结构
hive
大数据编程之光19 小时前
Hive 查询各类型专利 top10 申请人及专利申请数
大数据·数据仓库·hive·hadoop
杰克逊的日记19 小时前
Hive详解
数据仓库·hive·hadoop
Hsu_kk21 小时前
Hive 查询用户连续三天登录的所有记录
数据仓库·hive·hadoop