因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530 - INFO: HIVE 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

2023-10-16 07:56:52,722 - INFO: HIVE Execution failed with exit status: 3

2023-10-16 07:56:52,724 - INFO: HIVE FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

相关推荐
Gl�ria6 小时前
Hive SQL 执行卡住完整排查 & 处理
hive·hadoop·sql
网络豆2 天前
Apache Hive 鸿蒙 PC 适配全记录:以 Qt 客户端打通 HiveQL、监控与元数据访问
hive·apache·harmonyos
fastjson_3 天前
Hive3.1.3 安装使用
hive
Gl�ria7 天前
Hadoop MapReduce/Hive 数据倾斜完整排查
hive·hadoop·mapreduce
Gl�ria7 天前
Hadoop Hive 和 YARN 的关系
数据仓库·hive·hadoop
fastjson_11 天前
Hive 自定义函数
数据仓库·hive·hadoop
Gent_倪11 天前
MySQL 与 Hive 语法异同点详解
数据库·hive·mysql
邀星月为媒14 天前
从零打造一个属于自己的 AI Agent:Core Hive Agent 开源项目解析
人工智能·hive·开源
BI专家之路14 天前
安装linux/hadoop/jdk/hive
linux·hive·hadoop
fastjson_16 天前
Hive 基础函数
数据仓库·hive·hadoop