hive数据load到redis

使用shell脚本来实现,脚本如下:

bash 复制代码
#!/bin/bash

# 定义变量
pwd=/root
day=$(date +%Y%m%d)
before_day=$(date -d -1day +%Y%m%d)
log_file=$pwd/load_redis_$day.log

# 创建目录
mkdir -p $pwd/$day && echo "$(date '+%Y-%m-%d %H:%M:%S')----$pwd/$day 目录已创建" > $log_file

# 导出hive数据
function export_hive(){
    echo "导出数据为 insert overwrite local directory '$pwd/$day/' row format delimited fields terminated by '|' select a,b,c,d from dw_wangxinqing_yyyymmdd1 where day_id=$day;" >> $log_file
    echo "$(date '+%Y-%m-%d %H:%M:%S') -------开始从hive导出数据--------"  >> $log_file
    hive -e "insert overwrite local directory '$pwd/$day/' row format delimited fields terminated by '|' select a,b,c,d from dw_wangxinqing_yyyymmdd1 where day_id=$before_day;" && mv $pwd/$day/000000* $pwd/$day/hive_$before_day.txt
    if [ $? -ne 0 ]; then
        echo "$(date '+%Y-%m-%d %H:%M:%S')-----导出失败-----" >> $log_file
        exit 1
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S')-----导出成功-----" >> $log_file
    fi
}

# 清理hive数据
function Clear_hive(){
    rm -f $pwd/$day/redis_$before_day.txt
    awk -F "|" '{print "HMSET asiainfo:"$1" telnum "$1" region "$2" crowd "$3" activeType "$4"\nEXPIRE asiainfo:"$1" 300"}' $pwd/$day/hive_$before_day.txt > $pwd/$day/redis_$before_day.txt
    unix2dos $pwd/$day/hive_$before_day.txt
    echo "$(date '+%Y-%m-%d %H:%M:%S')-----格式转换成功-----" >> $log_file
    scp $pwd/$day/redis_$before_day.txt hadoop1:$pwd/
    if [ $? -ne 0 ]; then
        echo "$(date '+%Y-%m-%d %H:%M:%S')-----传输到目标服务器失败-----" >> $log_file
        exit 1
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S')-----传输到目标服务器成功-----" >> $log_file
    fi
}

# 加载到redis
function Load_redis(){
    echo "-------------可以load到redis------------" >> $log_file
    ssh hadoop1 "time cat $pwd/redis_$before_day.txt | /usr/bin/redis-cli --pipe -a 'password'" >> $log_file
}

# 开始执行
function start(){
    export_hive
    Clear_hive
    Load_redis
}

start

在原文基础上做了优化,怕忘了,所以写个文章记录下,原文链接如下:

两种方式用Shell实现把Hive表数据导入到redis_shell脚本 hive加载到doris_刘先生我在呀的博客-CSDN博客

相关推荐
CappuccinoRose7 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
我不会起名字3227 小时前
WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么
redis·后端·websocket·go·即时通讯·im·故障排查
演艺大赏8 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏8 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
时间的拾荒人8 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
IT规划师11 小时前
Redis 核心机制 | 过期删除策略:惰性+定期+主动(二)
redis·.net10·过期删除策略
时间的拾荒人1 天前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群