因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
Joy T12 小时前
【大数据】离线数仓核心组件:Hive 架构解析与进阶操作指南
大数据·数据仓库·hive·hadoop·架构
jasnet_u13 小时前
在Hadoop3.3.6上搭建Hive3.1.2
hive·hadoop
二进制_博客1 天前
使用Datax批量将mysql数据导入hive
数据库·hive·mysql
talen_hx2962 天前
《零基础入门Spark》学习笔记 Day 10
大数据·hive·笔记·学习·spark
二进制_博客2 天前
Spark On Hive 系统整合
大数据·hive·spark
蓝眸少年CY6 天前
Hive - 函数、压缩与优化
数据仓库·hive·hadoop
zhojiew8 天前
[INFRA] EMR集群中Hive和Spark集成Glue Data Catalog过程的深入分析
hive·hadoop·spark·aws·bigdata
bukeyiwanshui8 天前
Hive的使用
数据仓库·hive·hadoop
添柴少年yyds9 天前
hive锁机制
数据仓库·hive·hadoop
蓝眸少年CY10 天前
Hive - 安装与使用
数据仓库·hive·hadoop