二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
naumy3 小时前
sqlalchemy
sql
chimchim664 小时前
StarRocks导入数据-使用 Broker Load 进行异步导入
大数据·sql
Lris-KK4 小时前
【Leetcode】高频SQL基础题--1341.电影评分
sql·leetcode
Qlittleboy5 小时前
tp5的tbmember表闭包查询 openid=‘abc‘ 并且(wx_unionid=null或者wx_unionid=‘‘)
数据库·sql·php
markfeng85 小时前
一文搞懂MySQL字符集
sql·mysql
小白不想白a5 小时前
【MySQL】常用SQL语句
数据库·sql·mysql
Lx3529 小时前
Hadoop数据处理模式:批处理与流处理结合技巧
大数据·hadoop
皆过客,揽星河10 小时前
Linux上安装MySQL8详细教程
android·linux·hadoop·mysql·linux安装mysql·数据库安装·详细教程
core51212 小时前
Hive实战(二)
数据仓库·hive·hadoop
蜗牛~turbo13 小时前
金蝶云星空 调价表取历史价格
java·数据库·sql·c#·database