hive 刷新数据适用场景

1、MSCK REPAIR TABLE

msck repair table 作用是检查HDFS目录下存在(不存在)但表的metastore中不存在(存在)的元数据信息,更新到metastore中。

MSCK适合一次导入很多分区,需要将这些分区都更新到元数据信息中!

每次执行msck repair这个命令,都会检查所有分区的目录是否在元数据中存在,如果是每次新增一个分区的任务,那么使用这个语句将会越来越耗费时间,

建议使用ALTER TABLE ADD PARTITION 命令。

2、REFRESH TABLE

REFRESH是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少。

主要用于表中元数据未修改,表的数据修改,例如INSERT INTO、LOAD DATA、ALTER TABLE ADD PARTITION、LLTER TABLE DROP PARTITION等

相关推荐
tumeng071119 小时前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
蓝眸少年CY20 小时前
Hive - 函数、压缩与优化
数据仓库·hive·hadoop
仗剑_走天涯21 小时前
Hadoop 安装
大数据·hadoop·分布式
sunxunyong1 天前
HDFS nnsdy重新配置启动
大数据·hadoop·hdfs
bukeyiwanshui1 天前
Hadoop环境搭建
大数据·hadoop·分布式
Jianghong Jian1 天前
HDFS常用的JAVA API
大数据·hadoop·hdfs
2501_933329551 天前
品牌公关的底层重构:Infoseek舆情系统如何用AI中台破解“按键伤企”难题
数据仓库·人工智能·重构·数据库开发
迈巴赫车主1 天前
大数据:Hadoop(MapReduce)
大数据·hadoop·mapreduce
jasnet_u1 天前
CentOS上搭建hadoop-3.3.6集群(3节点)
hadoop·centos
hashiqimiya2 天前
windows的hadoop集群环境直接配
大数据·hadoop·分布式