DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
极光代码工作室16 小时前
基于数据挖掘的高校图书借阅分析系统
大数据·hadoop·python·数据分析·数据可视化
zhixingheyi_tian17 小时前
Hadoop 之 native 库
大数据·linux·hadoop·分布式
Apache IoTDB17 小时前
Apache IoTDB V2.0.8 发布|新增模型并发推理,优化同步配置与安全加固
安全·apache·iotdb
蓝魔Y17 小时前
Apache—Kafka实践
分布式·kafka·apache
Hadoop_Liang17 小时前
Hive的ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY对比及案例实践
数据仓库·hive·hadoop
杭州杭州杭州1 天前
数仓实验1
hive
Pocker_Spades_A1 天前
时序数据库选型指南:容量规划与压测方法(以 Apache IoTDB 为例)
apache·时序数据库·iotdb
杭州杭州杭州2 天前
数仓实验2
hive
杭州杭州杭州2 天前
数仓实验3
hive
Vin0sen3 天前
Hadoop安装
大数据·hadoop·分布式