二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

一、目的

在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。

一般的SQL查询有数据,但是加上group by以后就没数据;

一般的SQL查询有数据,但是insert写入表中,表中数据为空

二、报错详情

(一)一般的SQL查询有数据(不加group by)

(二)加上group by以后就没数据

(三)insert写入表中,表中数据为空

三、报错原因

经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中!

开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油💪

相关推荐
云淡风轻~~13 小时前
Hadoop HDFS存储机制与块大小选择权衡
hadoop·hdfs
Edingbrugh.南空14 小时前
Apache Iceberg与Hive集成:分区表篇
大数据·hive·hadoop
Cachel wood15 小时前
后端开发:计算机网络、数据库常识
android·大数据·数据库·数据仓库·sql·计算机网络·mysql
Lx35217 小时前
SQL参数化查询:防注入与计划缓存的双重优势
后端·sql·mysql
BillKu18 小时前
sql中like and not like的优化
数据库·sql
夜光小兔纸1 天前
SQL Server 查询数据库中所有表中所有字段的数据类型及长度
数据库·sql·sql server
AAA建材批发王师傅1 天前
Hive 序列化与反序列化:数据的 “打包“ 与 “拆箱“ 艺术
数据仓库·hive·hadoop
唐人街都是苦瓜脸2 天前
学习Oracle------Oracle和mysql在SQL 语句上的的异同 (及Oracle在写SQL 语句时的注意事项)
sql·mysql·oracle
Edingbrugh.南空2 天前
Hive SQL执行流程深度解析:从CLI入口到执行计划生成
hive·hadoop·sql
Edingbrugh.南空2 天前
Hive 性能优化:从表设计到查询执行的全链路优化
hive·hadoop