DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
亲爱的非洲野猪8 小时前
SpringBoot启动流程深度剖析:从@SpringBootApplication到Servlet容器就绪
hive·spring boot·servlet
lang201509289 小时前
Java反射利器:Apache Commons BeanUtils详解
java·开发语言·apache
oMcLin10 小时前
如何在 Debian 11 上通过构建大数据湖,使用 Apache Spark 加速电商平台的数据分析与实时推荐引擎
spark·debian·apache
Apache IoTDB11 小时前
Apache IoTDB “入驻” Google Code Wiki 技术知识库!
apache·iotdb
星火开发设计11 小时前
深入浅出HDFS:分布式文件系统核心原理与实践解析
大数据·数据库·hadoop·学习·hdfs·分布式数据库·知识
xiaoliuliu1234512 小时前
apache-tomcat-6.0.10使用步骤详解(附启动与部署教程)
java·tomcat·apache
`林中水滴`13 小时前
Hive系列:Hive 整合 HBase
hive·hbase
Hello.Reader13 小时前
Hadoop Formats 在 Flink 里复用 Hadoop InputFormat(flink-hadoop-compatibility)
大数据·hadoop·flink
s***872713 小时前
TCP/IP协议栈深度解析技术文章大纲
hive·spring boot
橙露14 小时前
大数据分析入门:Hadoop 生态系统与 Python 结合的分布式数据处理实践
hadoop·分布式·数据分析