二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
鹿角片ljp8 小时前
从告警检测到智能研判:SQL 注入研判模型的设计与实践
数据库·sql
咖啡里的茶i9 小时前
在Docker环境中安装Hadoop cluster 实验报告一
hadoop·docker·容器
青春万岁!!9 小时前
hive模型数据异常-作业调度问题
大数据·数据仓库·hive
邮专薛之谦14 小时前
MySQL 完整SQL指令大全(含详细解释+实战示例)
数据库·sql·mysql
YL2004042614 小时前
MySQL-进阶篇-SQL优化
数据库·sql·mysql
Mike117.15 小时前
GBase 8c schema 和 search_path 引发的对象定位问题
数据库·sql·oracle
丑八怪大丑16 小时前
SQL新特性
数据库·sql
白日与明月17 小时前
Hive分桶机制应用
数据仓库·hive·hadoop
Msshu12318 小时前
XSP25全协议 100W PD快充诱骗芯片_串口读电压电流信息
hive·云计算·json·database·memcached