.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:

通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:

hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

xml 复制代码
<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>
相关推荐
摩尔元数1 小时前
出入库管理智能升级,工厂管理更高效、透明
大数据·数据仓库·人工智能·制造
龙石数据3 小时前
【第三部分 实施篇】第7章 数据仓库及数据模型管理
数据仓库·数据管理·数据中台·数据模型·数据治理实战指南
且去填词12 小时前
DeepSeek :基于 Schema 推理与自愈机制的智能 ETL
数据仓库·人工智能·python·语言模型·etl·schema·deepseek
yumgpkpm1 天前
Cloudera CDH、CDP、Hadoop大数据+决策模型及其案例
大数据·hive·hadoop·分布式·spark·kafka·cloudera
小湘西1 天前
数仓分层架构详解2:ODS、DWD、DWS
大数据·数据库·数据仓库
小湘西1 天前
数仓分层架构详解:ODS、DWD、DWS
数据仓库·数据分析
鲨莎分不晴1 天前
大数据的“数字金库”:HDFS 核心原理与操作指令全解
大数据·hadoop·hdfs
鲨莎分不晴1 天前
给 Hadoop 插上 SQL 的翅膀:Apache Hive 架构与实战全解
hadoop·sql·apache
德彪稳坐倒骑驴1 天前
Hive电商数据分析项目 过程记录
hive·hadoop·数据分析
红队it1 天前
【Spark+Hadoop】基于spark+hadoop游戏评论数据分析可视化大屏(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✅
大数据·hadoop·分布式·算法·游戏·数据分析·spark