二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
A 计算机毕业设计-小途8 小时前
大四零基础用Vue+ElementUI一周做完化妆品推荐系统?
java·大数据·hadoop·python·spark·毕业设计·毕设
不羁。。10 小时前
【撸靶笔记】第八关:GET - Blind - Boolian Based - Single Quotes
数据库·sql·mybatis
麻辣清汤15 小时前
结合BI多维度异常分析(日期-> 商家/渠道->日期(商家/渠道))
数据库·python·sql·finebi
超级迅猛龙17 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
青云交17 小时前
Java 大视界 -- Java 大数据分布式计算在基因测序数据分析与精准医疗中的应用(400)
java·hadoop·spark·分布式计算·基因测序·java 大数据·精准医疗
未来之窗软件服务21 小时前
数据库优化提速(一)之进销存库存管理—仙盟创梦IDE
数据库·sql·数据库调优
Lx35221 小时前
Hadoop小文件处理难题:合并与优化的最佳实践
大数据·hadoop
MrZhangBaby1 天前
SQL-leetcode—3374. 首字母大写 II
linux·sql·leetcode
Java小白程序员1 天前
SQL 语句进阶实战:从基础查询到性能优化全指南
数据库·sql·性能优化