hive 异常任务中间数据清理

hive在运行过程中,会发现 hdfs /tmp/hive/hive or hdfs 目录占用空间巨大!

hive在运行过程中会生产大量的中间会话在/tmp目录下,

如果hive正常运行结束,临时会话会被自动清理掉,

如果hive中断,或者异常退出,这些中间会话就会一直保存在hdfs上。必须手动清理掉!

#!/bin/bash

usage="Usage: cleanup.sh [days]"

if [ ! "$1" ]

then

echo $usage

exit 1

fi

now=$(date +%s)

hadoop fs -ls /tmp/hive/hdfs | grep "^d" | while read f; do

dir_date=echo $f | awk '{print $6}'

difference=$(( ( $now - ( d a t e − d " (date -d " (date−d"dir_date" +%s) ) / (24 * 60 * 60 ) ))

if [ $difference -gt $1 ]; then

echo $f

hadoop fs -rm -r -skipTrash echo $f| awk '{ print $8 }';

fi

done

相关推荐
我的K84096 小时前
Hive中自定义函数的使用
数据仓库·hive·hadoop
FF_y10 小时前
Hive学习笔记
hive·笔记·学习
宝哥大数据11 小时前
数据仓库设计-分层
大数据·数据库·数据仓库
fanstuck13 小时前
如何优雅的在页面上嵌入AI-Agent人工智能
数据仓库·人工智能·知识图谱·gbi·智能bi
isNotNullX17 小时前
数据中台一键大解析!
大数据·数据库·数据仓库·信息可视化·数据中台
梦醒沉醉1 天前
Hadoop简介及单点伪分布式安装
hadoop
小_太_阳1 天前
hadoop_MapReduce详解
大数据·hadoop·mapreduce
cxzhq20021 天前
阿里云实时数据仓库Hologres&Flink
数据仓库·阿里云·flink