因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530\] - INFO: \[HIVE\] 2023-10-16 07:56:51 **Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552** \[2023-10-16 07:56:52,722\] - INFO: \[HIVE\] Execution failed with exit status: 3 \[2023-10-16 07:56:52,724\] - INFO: \[HIVE\] FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 问题解决: 可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 \> 5172101120,所以报错return code 3。

相关推荐
yumgpkpm6 小时前
Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案
大数据·人工智能·hive·zookeeper·flink·kafka·cloudera
默 语2 天前
Spring Boot 3.x升级踩坑记:到底值不值得升级?
hive·spring boot·后端
ha_lydms2 天前
2、Spark 函数_a/b/c
大数据·c语言·hive·spark·时序数据库·dataworks·数据开发
本旺4 天前
【数据开发离谱场景记录】Hive + ES 复杂查询场景处理
hive·hadoop·elasticsearch
悟能不能悟5 天前
springboot全局异常
大数据·hive·spring boot
是阿威啊5 天前
【第六站】测试本地项目连接虚拟机上的大数据集群
大数据·linux·hive·hadoop·spark·yarn
青木川崎5 天前
hive实战
数据仓库·hive·hadoop
是阿威啊5 天前
【第五站】集群组件一键启动/关闭脚本(Hadoop/YARN + Hive + Spark)
linux·运维·hive·hadoop·spark
青木川崎5 天前
大数据技术之hive
大数据·hive·hadoop
是阿威啊5 天前
【第三站】本地虚拟机部署hive集群
linux·数据仓库·hive·hadoop·分布式