二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
ZhengEnCi24 分钟前
SQL多表查询完全指南-从JOIN到复杂关联的数据整合利器
sql
惜分飞38 分钟前
raid恢复之后数据库故障处理(ora-01200,ORA-26101,ORA-600)---惜分飞
数据库·sql·oracle·oracle恢复·raid恢复
笨蛋少年派1 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
洲覆1 小时前
SQL 性能优化:出现 sql 比较慢怎么办?
开发语言·数据库·sql·mysql
啊吧怪不啊吧1 小时前
SQL之表的增删
服务器·数据库·sql·1024程序员节
数字化顾问13 小时前
SQL之键与约束实战进阶——从基础语法到高并发场景优化
sql
l1t16 小时前
利用DuckDB SQL求解集合数学题
数据库·sql·算法·集合·duckdb
kali-Myon18 小时前
NewStarCTF2025-Week3-Web
sql·安全·web安全·php·ctf
阿杰AJie19 小时前
Jackson 常用注解与完整用法总结
后端·sql
驾数者20 小时前
深入理解 Flink SQL 状态:原理、应用与优化
大数据·sql·flink