因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

[2023-10-16 07:56:51,530] - INFO: [HIVE] 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

[2023-10-16 07:56:52,722] - INFO: [HIVE] Execution failed with exit status: 3

[2023-10-16 07:56:52,724] - INFO: [HIVE] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

相关推荐
想做富婆19 小时前
Hive:静态分区(分区语法,多级分区,分区的查看修改增加删除)
数据仓库·hive·hadoop
一张假钞1 天前
Spark SQL读写Hive Table部署
hive·sql·spark
想做富婆1 天前
Hive:窗口函数[ntile, first_value,row_number() ,rank(),dens_rank()]和自定义函数
数据仓库·hive·hadoop
字节全栈_rJF3 天前
Hive 整合 Spark 全教程 (Hive on Spark)
hive·hadoop·spark
weixin_307779133 天前
设计转换Apache Hive的HQL语句为Snowflake SQL语句的Python程序方法
数据仓库·hive·python·sql
想做富婆4 天前
Hive:窗口函数(1)
数据仓库·hive·hadoop
weixin_307779134 天前
本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程
数据库·数据仓库·hive·sqlserver
想做富婆4 天前
Hive:复杂数据类型之Map函数
数据仓库·hive·hadoop
想做富婆4 天前
hive:基本数据类型,关于表和列语法
大数据·hive·hadoop
WHYBIGDATA5 天前
Hive安装教程
大数据·hive·hadoop