hive(hdfs)补数脚本

pb级别迁移通常要持续1个月以上。一般的过程是,全量迁移,追平数据,增量同步,校验,补数。

这里的指定补数脚本:

输入需要补数的表,如Input.txt,如果有分区则加补此分区,没有分区,则重迁移此表。

input.txt

ods_xxx dt=202403

dwd_xxx

dwd_xxxd temp

则补数脚本应该满足,迁移ods_xxx/dt=202403分区的数据,迁移dwd_xxx的数据,迁移dwd_xxxd/temp的数据。


input.txt格式

ods_xxr dt=20250214

ods_xi_202402_monitor dt=20250214

代码

bash 复制代码
#!/bin/bash
#场景:数据在同一库下,并且hive是内部表(前缀的hdfs地址是相同的)

#1.读取一个文件,获取表名



con_address=hdfs://xx.xx.xx.104:4007

#数组,这个值是存在的  表名/分区名或者文件名
fenqu_allow_list=()

#检测即将迁移的数据量
total_size=0
while IFS=' ' read -r table_name fenqu_name
do



    hdfs dfs -count $con_address/apps/hive/warehouse/bigdata.db/$table_name/$fenqu_name

    if [ -z "$fenqu_name" ]; then
        echo "没有分区,迁移表,检测表大小"
    else
        echo "有分区或文件,检测分区大小或者文件大小"
    fi

    #文件大小,字节
    fenqu_size=$(hdfs dfs -count $con_address/apps/hive/warehouse/bigdata.db/$table_name/$fenqu_name | awk -F ' ' '{print $3}')

    if [[ "$fenqu_size" =~ ^[0-9]+$ ]]; then
          #变成GB
     fenqu_gb=$(echo "scale=2; $fenqu_size / 1073741824" | bc)

     total_size=$(echo "scale=2;$total_size + $fenqu_gb"| bc)

     fenqu_allow_list+=("$table_name/$fenqu_name")
    else
     echo "无值$table_name/$fenqu_name" >> fail.txt
    fi
done < "$1"


echo "此批迁移的总大小是$total_size GB"

read -p "是否继续? (y/n): " user_input

# 判断用户输入
if [[ "$user_input" == "y" || "$user_input" == "Y" ]]; then
    echo "即将执行脚本"
elif [[ "$user_input" == "n" || "$user_input" == "N" ]]; then
    echo "退出脚本..."
    exit 0
else
    echo "无效输入,退出脚本..."
    exit 1
fi


declare -A repair_map
#迁移指定分区或者文件
for element in "${fenqu_allow_list[@]}"; do
    table_name=$(echo "$element" | awk -F'/' '{print $1}')
    echo "表名是$table_name"
    #删除对应的内容
    echo "执行命令 hdfs dfs -rm -r $con_address/apps/hive/warehouse/bigdata.db/$element"
    hdfs dfs -rm -r $con_address/apps/hive/warehouse/bigdata.db/$element

    #迁移
    source_path=hdfs://xx.xx.xx.7:8020/apps/hive/warehouse/bigdata.db/$element
    target_path=hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$element

    echo "执行命令 hadoop distcp -skipcrccheck -i -strategy dynamic -bandwidth 30 -m 20 $source_path $target_path"
    hadoop distcp -skipcrccheck -i -strategy dynamic -bandwidth 30 -m 20 $source_path $target_path

    #table_name去重
    repair_map["$table_name"]=1
    
    echo "-----------------------"
done



for key in "${!repair_map[@]}"; do
    table_name=$key
    #修复元数据
    BEELINE_CMD="beeline -u 'jdbc:hive2://xx.xx.xx.104:7001/cfc;principal=hadoop/xx.xx.xx.104@TBDS-09T7KXLE'"
    # 执行MSCK REPAIR TABLE命令
    echo "Repairing partitions for table: $table_name"
    $BEELINE_CMD -e "MSCK REPAIR TABLE $table_name;"

    if [ $? -eq 0 ]; then
        echo "Successfully repaired partitions for table: $table_name"
    else
        echo "Failed to repair partitions for table: $table_name"
    fi
done
相关推荐
王小王-1233 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
王小王-1236 小时前
基于Hadoop的大规模文本词频统计分析系统设计与实现
hadoop·mapreduce·hadoop词频统计·hadoop文本统计·mapreduce词频统计
陈敬雷-充电了么-CEO兼CTO8 小时前
推荐算法系统系列>推荐数据仓库集市的ETL数据处理
大数据·数据库·数据仓库·数据挖掘·数据分析·etl·推荐算法
桂成林11 小时前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
isNotNullX12 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
王小王-1231 天前
基于Hadoop的京东厨具商品数据分析及商品价格预测系统的设计与实现
hadoop·数据分析·京东厨具·厨具分析·商品分析
谷新龙0011 天前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
百度Geek说1 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
爱吃面的猫1 天前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
王小王-1231 天前
基于Hadoop的餐饮大数据分析系统的设计与实现
hive·hadoop·flask·sqoop·pyecharts·hadoop餐饮大数据分析·hadoop美食数据分析