hive 刷新数据适用场景

1、MSCK REPAIR TABLE

msck repair table 作用是检查HDFS目录下存在(不存在)但表的metastore中不存在(存在)的元数据信息,更新到metastore中。

MSCK适合一次导入很多分区,需要将这些分区都更新到元数据信息中!

每次执行msck repair这个命令,都会检查所有分区的目录是否在元数据中存在,如果是每次新增一个分区的任务,那么使用这个语句将会越来越耗费时间,

建议使用ALTER TABLE ADD PARTITION 命令。

2、REFRESH TABLE

REFRESH是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少。

主要用于表中元数据未修改,表的数据修改,例如INSERT INTO、LOAD DATA、ALTER TABLE ADD PARTITION、LLTER TABLE DROP PARTITION等

相关推荐
xiaogai_gai14 小时前
金蝶云星空API接口的ETL转换与数据写入方案
数据仓库·etl
菜鸟小码16 小时前
Hive数据类型全解析:从基础到复杂类型实战指南
数据仓库·hive·hadoop
IT从业者张某某16 小时前
Docker部署伪分布Hadoop
hadoop·docker·容器
Gauss松鼠会16 小时前
【GaussDB】浅谈SQL与ETL
数据库·数据仓库·sql·etl·gaussdb·经验总结
隐于花海,等待花开16 小时前
1.CONCAT / CONCAT_WS 函数深度解析
大数据·hive
juniperhan17 小时前
Flink 系列第13篇:Flink 生产环境中的并行度与资源配置
java·大数据·数据仓库·分布式·flink
菜鸟小码17 小时前
深入浅出 Hive 数据类型:从入门到实战
数据仓库·hive·hadoop
YMatrix 官方技术社区1 天前
美国·硅谷|YMatrix 即将亮相 Postgres Conference 2026,前瞻 AI 时代的数据基座
数据库·数据仓库·postgresql·时序数据库·ymatrix
孟意昶1 天前
Doris专题31-SQL手册-基础元素
大数据·数据库·数据仓库·分布式·sql·知识图谱·doris
juniperhan1 天前
Flink 系列第12篇:Flink 维表关联详解
大数据·数据仓库·分布式·flink