DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
迈巴赫车主7 小时前
大数据:Hadoop(HDFS)
大数据·hadoop·hdfs
努力的lpp8 小时前
小迪安全第8天:基础入门-算法分析 & 传输加密 & 数据格式 & 密文存储 & 代码混淆 & 逆向保护
服务器·网络·apache
爱人间8 小时前
apache-tomcat-8.5.72启动控制台乱码解决方案
java·tomcat·apache
XDHCOM8 小时前
Apache Mesos科普,提升资源利用率与系统扩展性的开源平台
开源·apache
❀͜͡傀儡师8 小时前
使用 Docker Run 部署 Apache WebDAV 服务
docker·apache·webdav
D愿你归来仍是少年8 小时前
Apache Spark 详细讲解第 7 章:Shuffle 机制深度解析
大数据·spark·apache
莫爷1 天前
JSON 性能优化实战:大数据量 JSON 的处理技巧
性能优化·json·apache
D愿你归来仍是少年1 天前
Flink 并行度变更时 RocksDB 状态迁移的关键机制与原理
大数据·flink·apache
zhojiew1 天前
[INFRA] EMR集群中Hive和Spark集成Glue Data Catalog过程的深入分析
hive·hadoop·spark·aws·bigdata
bukeyiwanshui1 天前
Hive的使用
数据仓库·hive·hadoop