二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
沃达德软件10 分钟前
智慧警务技战法
大数据·数据仓库·hadoop·深度学习·机器学习·数据挖掘
TTBIGDATA1 小时前
【Hue】Ambari 页面启动 Hue 失败 user ‘hadoop‘ does not exist
java·hadoop·ambari
Mr_Xuhhh2 小时前
MySQL核心知识梳理:从连接到查询的完整指南
数据库·sql·mysql
阳光九叶草LXGZXJ10 小时前
达梦数据库-学习-48-DmDrs控制台命令(同步之Manager、CPT模块)
linux·运维·数据库·sql·学习
亓才孓12 小时前
[数据库]应该注意的细节
数据库·sql
我真的是大笨蛋16 小时前
Redo Log详解
java·数据库·sql·mysql·性能优化
Root_Hacker18 小时前
sql注入学习笔记
数据库·sql·web安全·网络安全·oracle·网络攻击模型
hamawari19 小时前
SQL语法
数据库·sql·oracle
invicinble21 小时前
对于mysql层对sql层面的知识体系的理解和把握
数据库·sql·mysql