因mapjoin加载内存溢出而导致return code 3

因mapjoin加载内存溢出而导致return code 3

问题描述:

例行Hive作业报错

日志定位:

Starting to launch local task to process map join; maximum memory = 5172101120

2023-10-16 07:56:51,530 - INFO: HIVE 2023-10-16 07:56:51 Processing rows: 6200000 Hashtable size: 6199999 Memory usage: 2857332576 percentage: 0.552

2023-10-16 07:56:52,722 - INFO: HIVE Execution failed with exit status: 3

2023-10-16 07:56:52,724 - INFO: HIVE FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

问题解决:

可以看到在执行mapjoin的时候出现了内存报错,由于最大内存值为5172101120,而进度55.2%的时候已经使用了2857332576,由于2857332576/0.552 = 5176327130 > 5172101120,所以报错return code 3。

相关推荐
jjjava2.01 天前
SpringMVC入门指南:从零掌握核心要点
数据仓库·hive·hadoop
AllData公司负责人3 天前
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris
大数据·数据库·hive·mysql·oceanbase·tdengine
AllData公司负责人3 天前
数据同步平台|AIIData数据中台实现MySQL、Hive、Kafka 一键接入Doris
大数据·数据库·hive·mysql·kafka·实时同步
李昊哲小课4 天前
Ubuntu26.04-Hadoop3.5.0搭建hive4.2.0
数据仓库·hive·数仓
AllData公司负责人5 天前
数据集成管理|AIIData数据中台实现MySQL、Hive、Oracle一键接入Doris
大数据·数据库·人工智能·hive·mysql·oracle·数据分析
泰克教育官方账号6 天前
泰涨知识 | Hive集群环境部署
数据仓库·hive·hadoop
婉然从物6 天前
Flink SQL 元数据持久化实战:从“每次重启表消失”到“Hive Metastore 永久存储”
hive·sql·flink
龙石数据6 天前
MySQL 全量同步到 Hive 怎么做?三步配置教程
数据库·hive·mysql·数据治理·数据中台
心中有国也有家6 天前
E-Brufen 技术选型全景:Flutter + 鸿蒙 + Hive CE
hive·hadoop·学习·flutter·华为·harmonyos
DataPulse*7 天前
Hive常用参数调优十二板斧
hive·hadoop·硬件架构