.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:

通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:

hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

xml 复制代码
<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>
相关推荐
TG_yunshuguoji14 小时前
华为云数据仓库服务核心优势指南
数据仓库·云原生·华为云·数据库服务
典学长编程16 小时前
JavaWeb从入门到精通!第二天!(Servlet)
数据仓库·servlet·javaweb
计算机毕设-小月哥18 小时前
【限时分享:Hadoop+Spark+Vue技术栈电信客服数据分析系统完整实现方案
大数据·vue.js·hadoop·python·信息可视化·spark·计算机毕业设计
船长@Quant2 天前
元数据管理与数据治理平台:Apache Atlas 基本搜索 Basic Search
hadoop·数据治理·元数据管理·数据血缘·gdpr合规·apache atlas
Lx3522 天前
HDFS文件系统优化:提升数据读写性能的5个秘诀
大数据·hadoop·后端
lifallen3 天前
Hadoop MapReduce过程
大数据·数据结构·hadoop·分布式·apache
beijingliushao3 天前
30-Hive SQL-DML-Load加载数据
数据仓库·hive·apache
Lx3523 天前
Hadoop新手必知的10个高效操作技巧
hadoop·后端
シ風箏3 天前
Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
数据库·hive·hadoop