DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
梦里不知身是客1140 分钟前
hive的全连接
hive
牛奶咖啡131 小时前
Linux中安装部署Hadoop集群的保姆级安装配置教程
linux·hadoop·openjdk21安装配置·openjre21安装配置·hadoop集群安装配置·linux的ssh配置·linux实现免密登录配置
Kay_Liang2 小时前
【Hive 踩坑实录】从元数据库初始化到 HiveServer2 启动的全流程问题解决
大数据·linux·hive·hadoop·笔记·mysql·ubuntu
IT学长编程3 小时前
计算机毕业设计 基于Python的电商用户行为分析系统 Django 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·python·django·毕业设计·课程设计·电商用户行为分析系统
SelectDB技术团队3 小时前
货拉拉用户画像基于 Apache Doris 的数据模型设计与实践
数据分析·汽车·apache·用户画像·货拉拉
StarRocks_labs3 小时前
告别 Hadoop,拥抱 StarRocks!政采云数据平台升级之路
大数据·数据库·starrocks·hadoop·存算分离
码界奇点12 小时前
Apache IoTDB 架构特性与 PrometheusGrafana 监控体系部署实践
架构·apache·grafana·prometheus·iotdb
2501_9387802813 小时前
《不止 MapReduce:Hadoop 与 Spark 的计算模型差异及适用场景分析》
hadoop·spark·mapreduce
一个天蝎座 白勺 程序猿1 天前
Apache IoTDB(7):设备模板管理——工业物联网元数据标准化的破局之道
数据库·apache·时序数据库·iotdb
惜.己1 天前
apache启动失败Failed to start The Apache HTTP Server.
apache