Hive集群之间迁移的Linux Shell脚本

新旧 Hive 集群之前数据迁移单表脚本

migrate_hive_single_table.sh

bash 复制代码
#!/bin/bash

#配置参数
OLD_NAMENODE="hdfs://<old-namenode>:<old-port>" 
EXPORT_PATH="/tmp/hive-export/dm"
NEW_DB="dm_events"
TABLE_NAME="dm_usereventfinal"
SIZE_THRESHOLD=$((32 * 1024*1024)) # 32MB大小阈值

# 检查命令执行结果的函数
check_command(){
  if [ $? -ne 0 ]; then
    echo "Error: $1 失败,退出脚本。"
    exit 1
  fi
}

# 1.导出旧集群的数据 
echo "正在导出数据..."
hive -e "EXPORT TABLE ${NEW_DB}.${TABLE_NAME} TO '${EXPORT_PATH}';"
check_command "数据导出"

# 2.检查导出文件的大小 
echo "检查文件大小..."
HDFS_SIZE=$(hadoop fs -du -s ${EXPORT_PATH} | awk '{print $1}') 
check_command "获取文件大小"
echo "导出文件大小为:$HDFS_SIZE 字节"

# 3.根据文件大小选择迁移方法
if ["$HDFS_SIZE" -le "$SIZE_THRESHOLD" ]; then
  echo "文件小于 32MB,使用简单复制方法..."
  hadoop fs -cp ${OLD_NAMENODE}${EXPORT_PATH} ${EXPORT_PATH}   
  check_command "简单复制"
else
  echo "文件大于 32MB,使用 DistCp 工具迁移..."
  hadoop distcp -update -skipcrccheck
${OLD_NAMENODE}${EXPORT_PATH} ${EXPORT_PATH}
  check_command "数据迁移"
fi

# 4.在新集群中创建数据库(如果不存在)
echo "正在创建数据库(如果不存在)..."
hive -e "CREATE DATABASE IF NOT EXISTS ${NEW_DB};" 
check_command "创建数据库"

# 5.在新集群中导入数据

echo "正在导入数据到新集群..."
hive -e "IMPORT TABLE ${NEW_DB}.${TABLE_NAME} FROM'${EXPORT_PATH}';"
check_command "数据导入"

echo "数据迁移完成!"

新旧 Hive 集群之前数据迁移所有表、视图、UDF函数的脚本

migrate_hive_all.sh

bash 复制代码
#!/bin/bash

# 配置参数
OLD_NAMENODE="hdfs://<old-namenode>:<old-port>"
EXPORT_BASE_PATH="/tmp/hive-export"
NEW_DB="your_database_name"
SIZE_THRESHOLD=$((32*1024*1024)) # 32MB大小阈值

# 检查命令执行结果的函数
check_command() {
  if [ $? -ne 0 ]; then
    echo "Error: $1 失败,退出脚本。"
    exit 1
  fi
}

# 导出元数据信息
echo "导出表和视图信息..."
hive -e "SHOW TABLES IN ${NEW_DB};" > tables.txt 
hive -e "SHOW VIEWS IN ${NEW_DB};"> views.txt

# 迁移每个表
echo"迁移表数据..."
while read TABLE; do
  EXPORT_PATH="${EXPORT_BASE_PATH}/${TABLE}"

  echo"处理表:$TABLE"
  hive -e "EXPORT TABLE ${NEW_DB}.${TABLE} TO '${EXPORT_PATH}'"   
  check_command "导出数据表"

  echo "检查文件大小..."
  HDFS_SIZE=$(hadoop fs -du -s ${EXPORT_PATH} | awk '{print $1}')
  check_command "获取文件大小"

  if["$HDFS_SIZE" -le "$SIZE_THRESHOLD" ]; then
    echo "文件小于 32MB,使用简单复制方法..."
    hadoop fs -cp ${OLD_NAMENODE}${EXPORT_PATH} ${EXPORT_PATH} 
  else
    echo "文件大于 32MB,使用DistCp工具迁移..."
    hadoop distcp -update -skipcrccheck
${OLD_NAMENODE}${EXPORT_PATH} ${EXPORT_PATH}
  fi
  check_command"数据迁移"

  hive -e "IMPORT TABLE ${NEW_DB}.${TABLE} FROM '${EXPORT_PATH}'"
  check_command "导入数据表"
done < tables.txt

# 重建视图
echo "重建视图..."
while read VIEW; do
  echo"处理视图:$VIEW"
  DEFINITION=$(hive -e "SHOW CREATE TABLE ${NEW_DB}.${VIEW}")  
  check_command "获取视图定义"
  echo "${DEFINITION}" | hive-e
  check_command "重建视图"
done <views.txt

# 迁移 UDF
echo "列出并注册 UDF..."
# 假设您已经收集了所有的UDF及其JAR路径
UDF_LIST=("function_name_1" "function_name_2") 
JAR_PATH_LIST=("/path/to/jar1" "/path/to/jar2")

for i in "${!UDF_LIST[@]}"; do
  FUNCTION="${UDF_LIST[$i]}"
  JAR_PATH="${JAR_PATH_LIST[$i]}"

  echo"注册 UDF: $FUNCTION from $JAR_PATH"

  hive -e "ADD JAR ${JAR_PATH}; CREATE TEMPORARY FUNCTION${FUNCTION} AS'fully.qualified.class.name.of.Function';" 
  check_command "注册UDF ${FUNCTION}" done

echo "所有 Hive 表、视图和 UDF 函数迁移完成!"
相关推荐
誰能久伴不乏43 分钟前
Linux系统调用概述与实现:深入浅出的解析
linux·运维·服务器
程序员学习随笔1 小时前
Linux进程深度解析(2):fork/exec写时拷贝性能优化与exit资源回收机制(进程创建和销毁)
linux·运维·服务器
mmoyula1 小时前
【RK3568 PWM 子系统(SG90)驱动开发详解】
android·linux·驱动开发
-SGlow-1 小时前
MySQL相关概念和易错知识点(2)(表结构的操作、数据类型、约束)
linux·运维·服务器·数据库·mysql
代码改变世界ctw2 小时前
Linux内核设计与实现 - 第14章 块I/O层
linux·运维·服务器
数据与人工智能律师2 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
van叶~4 小时前
Linux网络-------1.socket编程基础---(TCP-socket)
linux·网络·tcp/ip
风吹落叶花飘荡4 小时前
Ubuntu系统 系统盘和数据盘扩容具体操作
linux·运维·ubuntu
zoulingzhi_yjs5 小时前
haproxy配置详解
linux·云原生
bingbingyihao5 小时前
Node.js 模拟 Linux 环境
linux·node.js