DBeaver执行hive可能遇到的问题集合(updating.....)

一:报 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

背景:在DBeaver执行一个小小的查询,就遇上了这样的错误,也没看出来有什么问题。我们在服务端查看,会发现有以下提示:

分析:Hive-on-MR已经在Hive2中弃用了,并且在未来的版本中不会用到。建议使用不同的执行引擎(例如Spark,tez)或者使用Hive1.x版本。所以,Hive在2.x版本已经不支持MapReduce了。

解决:

切换本地模式 set hive.exec.mode.local.auto=true;

我们知道,0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供完整的可扩展性来处理大数据的。不过有时候hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多得多。

hive执行本地模式后会允许使用MapReduce,如图所示:

相关推荐
betazhou4 小时前
Apache Seatunnel 抽取SQL server实时同步到Oracle-多表同步(五)
数据库·oracle·sqlserver·apache·seatunnel
大鳥9 小时前
JSON 解析最佳实践:从入门到生产级优化
hive·sql·spark·json
ha_lydms10 小时前
Xml Functions(XML 函数)
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms10 小时前
Vector Functions(向量函数)
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台
ha_lydms10 小时前
阿里云大数据组件
大数据·hadoop·阿里云·spark·云计算·数据处理·dataworks
青企通20 小时前
电商小程序购物车与库存扣减:SKU 模型、合并规则与防超卖实践
小程序·apache
ruxshui1 天前
Hadoop 生产运维实战手册
大数据·运维·hadoop
泡干脆面就番茄1 天前
Hive窗口函数:从原理到三大面试题
大数据·数据仓库·hive·hadoop
程序员梅雨1 天前
Hive面试总结
hive·hadoop·面试
李纲明1 天前
WordPress 首页正常、内页全 404:固定链接与伪静态规则排查步骤(Apache / Nginx)
nginx·apache·wordpress