【Hive】drop table需注意外部表

什么是内部表,外部表?

比较专业的定义:

外部表需要转为内部表,执行删除操作才能真的删表结构删表数据。否则drop table仅是删除了表数据,表结构还是存在的。

alter table tb_name set TBLPROPERTIES('EXTERNAL'='false');

这个只是把表设成内部表,如果表本身是外部表的话。如果你本来表就是内部表就不用执行这个

drop table if exists tb_name ;

Q: 内部外部是对生产账号来说的对吗?

A: 不是,内部,外部,是表的一个类型,跟生产帐号没有关系。如果是外部表,你DROP的时候只会删除表分区,但表的文件依然存在,不会做清理。

所以,如果是外部表,你在DROP的时候相当于没有做清理

注意用spark执行会报错,以下语句要使用hive执行。

ALTER TABLE tb_name SET TBLPROPERTIES('EXTERNAL' = 'FALSE');

报错信息:

INFO Error in query: Cannot set or change the preserved property key: 'EXTERNAL';

在知乎看到的解决方案:https://zhuanlan.zhihu.com/p/161771826

(其实并没有说怎么解决,可能只能hive引擎使用)

相关推荐
小欣加油14 小时前
Hadoop开发环境搭建
大数据·数据库·hadoop
段一凡-华北理工大学15 小时前
工业领域的Hadoop架构学习~系列文章01:Hadoop与工业4.0深度融合
大数据·hadoop·学习·架构·知识图谱·高炉炼铁·工业智能体
宽海智能仓储物流15 小时前
从状态检查到数据备份:仓储PLC控制器保养周期与实操清单
大数据·数据仓库·自动化
A130160986712 天前
精准商机赋能,助力金融助贷业务拓展
大数据·数据仓库·人工智能·机器人·信息与通信
小欣加油2 天前
Hive综合应用案例——用户学历查询
数据仓库·hive·hadoop
至此流年莫相忘2 天前
CentOS 部署 Hadoop 环境指导文档
linux·hadoop·centos
yumgpkpm2 天前
Hadoop(CDH6、CDP7)在Qwen3.7大模型训练中的作用,(含部署、运行操作步骤)
大数据·hive·hadoop·分布式·zookeeper·spark·kafka
Irene19912 天前
正确停止 Sqoop 任务:yarn application -kill(直接 kill 进程会触发重启,且可能导致状态不一致)
hadoop·sqoop
南屹川3 天前
【大数据】大数据处理技术栈:从采集到分析的完整链路
大数据·人工智能·hadoop·flink·spark·数据处理
juniperhan4 天前
Flink 系列第25篇:Flink SQL 集成 Hive 实践:流批一体下的实时数仓利器
大数据·数据仓库·hive·分布式·sql·flink