因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
君不见,青丝成雪17 小时前
Hadoop技术栈(四)HIVE常用函数汇总
大数据·数据库·数据仓库·hive·sql
yatingliu20191 天前
HiveQL | 个人学习笔记
hive·笔记·sql·学习
步行cgn3 天前
在 HTML 表单中,name 和 value 属性在 GET 和 POST 请求中的对应关系如下:
前端·hive·html
喂完待续4 天前
【Tech Arch】Hive技术解析:大数据仓库的SQL桥梁
大数据·数据仓库·hive·hadoop·sql·apache
beijingliushao6 天前
33-Hive SQL DML语法之查询数据-2
hive·hadoop·sql
让头发掉下来7 天前
Hive 创建事务表的方法
大数据·hive·hadoop
W.A委员会7 天前
SpringMVC
数据仓库·hive·hadoop·spring
王小王-1237 天前
基于Hadoop的全国农产品批发价格数据分析与可视化与价格预测研究
大数据·hive·hadoop·flume·hadoop农产品价格分析·农产品批发价格·农产品价格预测
beijingliushao10 天前
30-Hive SQL-DML-Load加载数据
数据仓库·hive·apache
シ風箏10 天前
Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
数据库·hive·hadoop