一百九十、Hive——Hive刷新分区MSCK REPAIR TABLE

一、目的

在用Flume采集Kafka中的数据直接写入Hive的ODS层静态分区表后,需要刷新表,才能导入分区和数据。原因很简单,就是Hive表缺乏分区的元数据

二、实施步骤

(一)问题------在Flume采集Kafka中的数据写入HDFS后,如果不刷新表,则没有分区和表数据

(二)解决方法------Hive刷新分区MSCK

hive> MSCK REPAIR TABLE ods_queue2;

(三)刷新表后查看分区和表数据

相关推荐
老徐电商数据笔记1 天前
数据仓库工程师在AI时代的走向探究
数据仓库·人工智能
老徐电商数据笔记1 天前
电商数仓存储格式(Textfile/Orc/Parquet)深度解析:五大实战方案与选型指南
大数据·数据仓库·技术面试·数据存储格式
yumgpkpm1 天前
Cloudera CDP 7.3(国产CMP 鲲鹏版)平台与银行五大平台的技术对接方案
大数据·人工智能·hive·zookeeper·flink·kafka·cloudera
AI_56781 天前
从“单文件存储”到“PB级集群”——HDFS如何让大数据“躺平”存储
大数据·hadoop·hdfs
潘达斯奈基~1 天前
数仓建模1-核心框架
大数据·数据仓库
默 语3 天前
Spring Boot 3.x升级踩坑记:到底值不值得升级?
hive·spring boot·后端
ha_lydms3 天前
AnalyticDB导入MaxCompute数据的几种方式
大数据·数据仓库·阿里云·dataworks·maxcompute·odps·analyticdb
ha_lydms4 天前
2、Spark 函数_a/b/c
大数据·c语言·hive·spark·时序数据库·dataworks·数据开发
是阿威啊4 天前
【第二站】本地hadoop集群配置yarn模式
大数据·linux·hadoop·yarn
好大哥呀4 天前
Hadoop yarn
大数据·hadoop·分布式