hive迁移补数脚本细粒度 表名-分区唯一键

假设我通过对数脚本发现,这些表对不上。

假设检测出来是这样的(这些表存在于源端,但不存在目标端)

我们需要从源端迁移过去。

diff.txt

ads_xx1 dt=20250219

ads_xx2 dt=20250217

ads_xx2 dt=20250218

ads_xx2 dt=20250219

ads_xx3 dt=20250217

ads_xx4 dt=20250217

bak_xx1 dt=20250109

bak_xx1 dt=20250110

bak_xx1 dt=20250111

bak_xx1 dt=20250112

bak_xx1 dt=20250113

dim_e dt=20250131

dim_j dt=20250216

dim_j dt=20250217

dim_m_df dt=20250216

dim_m_df dt=20250217

dim_m_df dt=20250218

tmp_np

tmp_an dt=20250217

tmp_an dt=20250218

tmp_dhc_allcon_20250131

tmp_hj dt=20250216

tmp_hj dt=20250217

tmp_hj_2 dt=20250216

tmp_hj_2 dt=20250217

~

脚本

bash 复制代码
#!/bin/bash
#场景:数据在同一库下,并且hive是内部表(前缀的hdfs地址是相同的)




echo "" > rs.txt

#1.读取每一行,获取到表名和分区名
  
#定义map
declare -A table_map
while IFS=' ' read -r table_name fenqu_name
do
 #table_name为空的情况
     if [[ -z "${table_name// }" ]]; then
      echo "变量为空或只有空格,跳过操作"
      continue
     else
        #1.如果map中存在此表,并且分区不为空,则加入数组中
        if [[ -v table_map["$table_name"] ]]; then
          echo "$table_name exists in the map!"
          value_arr="${table_map[$table_name]}"
          IFS=' ' read -r -a new_arr <<< "${table_map["$table_name"]}"
          #判断分区为空吗
          if [ ${#new_arr[@]} -eq 0 ]; then
              echo "Array is empty!,不操作"
          else
              echo "Array is not empty!加入数组,放到map"
              new_arr+=("$fenqu_name")
              table_map["$table_name"]="$(IFS=' '; echo "${new_arr[*]}")"
          fi
        else
          #2.如果map中不存在此表,则创建数组,分区不可能存在又缺分区又缺表的存在(跑的时候筛出来,分批跑),则放进去。
          echo "$table_name does not exist in the map!"
          value_arr=()
          value_arr+=("$fenqu_name")
          table_map["$table_name"]="$(IFS=' '; echo "${value_arr[*]}")"
          

      fi


  fi

done < "$1"
echo "-----------"
#测试一下数组中的元素
#for table_name in "${!table_map[@]}"; do
#    echo "$table_name: ${table_map[$table_name]}"
#done



#2.遍历map3.遍历map
#删除每一个map里对应的分区
for table_name in "${!table_map[@]}"; do
    fenqu_arr_str=${table_map[$table_name]}
    echo "$table_name: $fenqu_arr_str"
    
    #如果没有分区,则删除表
    if [[ -z "$fenqu_arr_str" || "$fenqu_arr_str" =~ ^[[:space:]]*$ ]]; then
      echo "hdfs dfs -rm -r hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$table_name"
      eval "hdfs dfs -rm -r hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$table_name"
    # 在这里执行相应的操作
    else

      IFS=' ' read -r -a value_array <<< "$fenqu_arr_str"
      # 遍历数组
      for fenqu_name in "${value_array[@]}"; do
      # 输出每个 dt
        echo "hdfs dfs -rm -r hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$table_name/$fenqu_name"
        eval "hdfs dfs -rm -r hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$table_name/$fenqu_name"
      done


    fi  

done



#3.distcp任务
for table_name in "${!table_map[@]}"; do
    fenqu_arr_str=${table_map[$table_name]}
    echo "$table_name: $fenqu_arr_str"
    
    distcp_str="hadoop distcp -skipcrccheck -i -strategy dynamic -bandwidth 30 -m 20"
    source_path=hdfs://xx.xx.xx.7:8020/apps/hive/warehouse/bigdata.db/$table_name
    target_path=hdfs://xx.xx.xx.104:4007/apps/hive/warehouse/bigdata.db/$table_name

    #如果没有分区,则distcp表
    if [[ -z "$fenqu_arr_str" || "$fenqu_arr_str" =~ ^[[:space:]]*$ ]]; then
      distcp_str="$distcp_str $source_path $target_path"
      echo "$distcp_str"
      eval "$distcp_str"
    else

      IFS=' ' read -r -a value_array <<< "$fenqu_arr_str"
      # 遍历数组
      for fenqu_name in "${value_array[@]}"; do
        # 拼接
        distcp_str="$distcp_str $source_path/$fenqu_name"
      done
      #执行
      distcp_str="$distcp_str $target_path"
      echo "$distcp_str"
      eval "$distcp_str"
    fi
    echo "$table_name 完成" >> rs.txt
done

BEELINE_CMD="beeline -u 'jdbc:hive2://xx.xx.xx.104:7001/cfc;principal=hadoop/xx.xx.xx.104@TBDS-09T7KXLE'"
#4.修复分区
for table_name in "${!table_map[@]}"; do
    # 执行MSCK REPAIR TABLE命令
    echo "Repairing partitions for table: $table_name"
    $BEELINE_CMD -e "MSCK REPAIR TABLE $table_name;"

    if [ $? -eq 0 ]; then
        echo "Successfully repaired partitions for table: $table_name"
    else
        echo "Failed to repair partitions for table: $table_name"
    fi
done

使用

nohup sh bushu.sh diff.txt &

相关推荐
myself11 小时前
Hadoop中的MapReduce学习 - Mapper和shuffle阶段
hadoop
IT研究室11 小时前
大数据毕业设计选题推荐-基于大数据的北京市医保药品数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化
一枚小小程序员哈15 小时前
大数据、hadoop、爬虫、spark项目开发设计之基于数据挖掘的交通流量分析研究
大数据·hadoop·爬虫
计算机编程小咖1 天前
《基于大数据的农产品交易数据分析与可视化系统》选题不当,毕业答辩可能直接挂科
java·大数据·hadoop·python·数据挖掘·数据分析·spark
小四的快乐生活2 天前
Hive 存储管理测试用例设计指南
hive·hadoop·测试用例
没有梦想的咸鱼185-1037-16632 天前
SWMM排水管网水力、水质建模及在海绵与水环境中的应用
数据仓库·人工智能·数据挖掘·数据分析
三劫散仙2 天前
mac m1上使用Kerberos访问远程linux hadoop集群的正确姿势
linux·hadoop·macos
源图客3 天前
Apache Ozone 2.0.0集群部署
hadoop·ozone
计算机毕设残哥3 天前
大数据毕业设计推荐:基于Hadoop+Spark的手机信息分析系统完整方案
大数据·hadoop·课程设计
PawSQL3 天前
十年磨一剑!Apache Hive 性能优化演进全史(2013 - )
大数据·hive·性能优化