DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
码字的字节7 小时前
深入解析Hadoop RPC:技术细节与推广应用
hadoop·rpc
码字的字节7 小时前
深入解析Hadoop架构设计:原理、组件与应用
大数据·hadoop·分布式·hadoop架构设计
Fantasy丶夜雨笙歌15 小时前
Apache HTTP Server 从安装到配置
网络协议·http·apache
蠢货爱好者17 小时前
一分钟快速了解Apache
apache
麟城Lincoln17 小时前
【Linux-云原生-笔记】Apache相关
linux·笔记·云原生·apache·webserver
ZZZKKKRTSAE17 小时前
玩转rhel9 Apache
linux·运维·服务器·apache·web
༺水墨石༻18 小时前
低版本hive(1.2.1)UDF实现清除历史分区数据
数据仓库·hive·hadoop
HashData酷克数据1 天前
Apache Cloudberry 向量化实践(二):如何识别和定位向量化系统的性能瓶颈?
apache
HashData酷克数据2 天前
流批一体的“奥卡姆剃刀”:Apache Cloudberry 增量物化视图应用解析
apache