.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:

通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:

hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

xml 复制代码
<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>
相关推荐
viperrrrrrrrrr71 小时前
大数据学习(137)-大数据组件运行时角色
大数据·hive·学习·flink·spark
江畔独步5 小时前
Doris与DS结合实现MySQL侧的Upsert功能
数据仓库·mysql·doris·upsert
安审若无8 小时前
Hive的索引使用如何优化?
数据仓库·hive·hadoop
青春之我_XP19 小时前
【基于阿里云搭建数据仓库(离线)】使用UDTF时出现报错“FlatEventUDTF cannot be resolved”
数据仓库·sql·阿里云·云计算·dataworks·maxcompute
小王不会写code1 天前
Hadoop 2.7.7 单机伪分布式安装与配置教程(JDK 8)
java·hadoop·分布式
zh_199951 天前
Hive面试题汇总
大数据·hive·hadoop·架构·面试题
Kookoos1 天前
ABP vNext + Spark on Hadoop:实时流处理与微服务融合
hadoop·微服务·spark·.net·abp vnext
是梦终空1 天前
JAVA毕业设计227—基于SpringBoot+hadoop+spark+Vue的大数据房屋维修系统(源代码+数据库)
hadoop·spring boot·spark·vue·毕业设计·源代码·大数据房屋维修系统
£菜鸟也有梦2 天前
Flume进阶之路:从基础到高阶的飞跃
大数据·hive·hadoop·flume
Kookoos2 天前
ABP vNext + Hive 集成:多租户大数据 SQL 查询与报表分析
大数据·hive·sql·.net·abp vnext