DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
阿年、嗯啊1 小时前
hadoop服役新节点后,NameNode的web页面无法访问节点信息
大数据·hadoop·分布式·服役新节点·无法访问节点信息·无法访问9864端口
上辈子杀猪这辈子学IT3 小时前
【Hive数据仓库】Hive部署、Hive数据库操作(增删改查)、表操作(内部表、外部表、分区表、桶表)
大数据·数据库·数据仓库·hive·hadoop
sunxunyong3 小时前
hive 小文件分析
数据仓库·hive·hadoop
我不会敲代码a4 小时前
Hive-4.0.1数据库搭建(可选配置用户名密码远程连接)
数据库·hive·hadoop
B站计算机毕业设计超人8 小时前
计算机毕业设计PySpark+PyFlink+Hive地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Hadoop 机器学习 深度学习
大数据·hive·hadoop·深度学习·算法·机器学习·课程设计
夏天的遥遥漓曦8 小时前
CentOS7下,hive4.0.0安装部署
大数据·hive·hadoop·mysql·adb
键道码屋9 小时前
【Hive 如何进行update更新?】
数据仓库·hive·hadoop
吃滑椒的喵酱12 小时前
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
架构·开源·apache
烟雨平生952712 小时前
Hadoop概述
大数据·hadoop·分布式