二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
QX_hao1 小时前
【Hadoop】--HA高可用搭建--3.2.2
大数据·hadoop·分布式
IvanCodes3 小时前
十三、Hive 行列转换
大数据·hive·hadoop
线条13 小时前
深入理解 Hadoop 核心组件 Yarn:架构、配置与实战
大数据·hadoop·架构
火龙谷5 小时前
【hadoop】Flume日志采集系统的安装部署
大数据·hadoop·flume
白初&6 小时前
CVE-2015-3934 Fiyo CMS SQL注入
数据库·sql
麻雀无能为力9 小时前
CAU数据库class2 SQL语言
数据库·sql·oracle
枷锁—sha11 小时前
SQL注入——Sqlmap工具使用
数据库·sql·安全·web安全
wangzhongyudie21 小时前
SQL实战:06交叉日期打折问题求解
数据库·sql
houzhizhen1 天前
Hive PredicatePushDown 谓词下推规则的计算逻辑
hive
川石课堂软件测试1 天前
涨薪技术|0到1学会性能测试第65课-SQL捕获阻塞事件
数据库·sql·功能测试·oracle·性能优化·单元测试·tomcat