.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:

通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:

hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

xml 复制代码
<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>
相关推荐
小技工丨3 小时前
Hive-08之数据仓库之建模、分析
数据仓库·hive·hadoop
爱编程的王小美3 小时前
Hive基础
数据仓库·hive·hadoop
Arbori_262154 小时前
hive 面试题
大数据·数据仓库·hive·hadoop
Mcband14 小时前
ETL-kettle数据转换使用详解
数据仓库·etl
web_1323342143615 小时前
深入解析HDFS:定义、架构、原理、应用场景及常用命令
hadoop·hdfs·架构
小技工丨17 小时前
Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
数据仓库·hive·hadoop
三生暮雨渡瀟瀟19 小时前
Hive之正则表达式
hive·正则表达式
B站计算机毕业设计超人20 小时前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型音乐推荐系统 音乐数据分析 音乐可视化 音乐爬虫 知识图谱 大数据毕业设计
大数据·hadoop·spark·网络爬虫·知识图谱·课程设计·推荐算法
小技工丨20 小时前
Hive-06之函数 聚合Cube、Rollup、窗口函数
数据仓库·hive·hadoop