hive执行select count(1)返回0

背景:

做数据质量检核任务的时候,有些数据表有数据,直接查hive执行select count(1) from table返回的值一直是0

问题原因:

hive通过select count(1)或者select count(*) 查询的是元数据库里面的rownum,如果数据表数据是通过load、put等方式加载进去的,元数据库里面的rownum没有收集统计信息,导致数据不对。

解决:

1、hive部署的时候,开启统计功能

hive.compute.query.using.stats:该属性的默认值为false。如果设置为true,Hive在执行某些查询时,例如select count(1),只利用元数据存储中保存的状态信息返回结果。为了收集基本状态信息,需要将hive.stats.autogather属性配置为true。为了收集更多的状态信息,需要运行analyzetable查询命令。

查count(1)不走元数据,直接查影响性能。

hive.stats.autogather = false

2、临时方案

方案一:

使用analyze table来执行统计过程,datax或者flinkx同步数据,最后需要执行这个

ANALYZE TABLE tableName STATISTICS;

这个也不是永久生效,如果执行之后,又put或者load数据量还是不对,还要再次执行这个sql

方案二:

窗口级别生效

set hive.compute.query.using.stats=false;

select count(1) from tableName;

相关推荐
梦里不知身是客1110 小时前
hive中metastore 服务的意义
数据仓库·hive·hadoop
计算机毕业编程指导师11 小时前
【Python大数据选题】基于Spark+Django的电影评分人气数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·django·电影评分人气
梦里不知身是客1111 小时前
hiveserver2服务的作用和启动
hive
梦里不知身是客1113 小时前
hive让分区关联数据的三种方式
数据仓库·hive·hadoop
咨询QQ87622396514 小时前
从 Lumerical 和 COMSOL 中提取光栅反射相位
hive
jumu2021 天前
三菱FX5U与3台三菱E700变频器通讯实战
数据仓库
写代码的【黑咖啡】1 天前
数据仓库中保障数据质量的关键环节:任务发布后数据校验
数据仓库
m0_740043732 天前
Spring_全面详解入门
数据仓库·hive·hadoop
皓空揽月2 天前
windows安装hadoop2.7.2教程(单机版)
hadoop·windows
淡定一生23332 天前
数据仓库基本概念
大数据·数据仓库·spark