.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:

通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:

hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

xml 复制代码
<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>
相关推荐
RestCloud5 分钟前
2025常用的ETL 产品推荐:助力企业激活数据价值
数据仓库·apache·etl·kettle·数据集成·ibm·informatica
sunxunyong16 分钟前
hive/doris查询表的创建和更新时间
数据仓库·hive·hadoop
明月与玄武3 小时前
构建高可用大数据平台:Hadoop与Spark分布式集群搭建指南
hadoop·分布式·spark·大数据测试
小钻风33666 小时前
JavaWeb注解的原理
数据仓库·hive·hadoop
CXH7287 小时前
hadoop伪分布式部署
大数据·hadoop·分布式
涤生大数据8 小时前
数据质量问题中,数据及时性怎么保证?如何有深度体系化回答!
数据仓库·数据治理·数仓·数据开发·及时性
RestCloud1 天前
从ETL到ELT:大数据时代下两者的选型建议及优势
大数据·数据仓库·etl·数字化转型·数据集成平台·elt
程序员老周6661 天前
从MySQL快速上手大数据Hive
大数据·数据库·hive·hadoop·mysql·mapreduce·数据工程师
lqlj22331 天前
Hadoop案例——流量统计
大数据·hadoop·分布式
IT成长日记1 天前
【Hadoop入门】Hadoop生态之Hive简介
大数据·hive·hadoop