二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
隐于花海,等待花开1 天前
窗口函数之排序函数详细解读及示例
大数据·数据库·hive
毅炼1 天前
MyBatis 常见问题总结
java·数据库·sql·mybatis
隐于花海,等待花开1 天前
Hive 正则函数详解与示例
数据仓库·hive·hadoop
隐于花海,等待花开1 天前
Hive专题:数据开发面试高频题(TopN、留存、连续登录等)
hive·hadoop·面试
Garcia Shan1 天前
【SQL Server】SQL Server中的DENSE_RANK()
数据库·sql
木心术11 天前
大数据处理技术:Hadoop与Spark核心原理解析
大数据·hadoop·分布式·spark
m0_738120722 天前
渗透测试基础ctfshow——Web应用安全与防护(五)
前端·网络·数据库·windows·python·sql·安全
逍遥德2 天前
Java 锁(线程间)和数据库锁(事务间)对比详解
java·数据库·sql·高并发·锁机制
数厘2 天前
2.18 sql排序查询(ORDER BY、ASC、DESC)
数据库·sql·oracle
黑牛儿2 天前
2026 慢 SQL 优化手册:EXPLAIN 深度解读 + 9 类索引失效场景(生产避坑)
数据库·sql