本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装Apache Hive的Linux服务器集群，它可以连接到一个SQL Server RDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQL Server RDS数据库。

以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQL Server RDS：

1. 安装Sqoop

步骤：

下载Sqoop

前往Apache Sqoop下载页面，选择稳定版本（如1.4.7）：

bash 复制代码

wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop

配置环境变量

编辑~/.bashrc或/etc/profile：
bash 复制代码
```
export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
```
应用配置：
bash 复制代码
```
source ~/.bashrc
```
验证安装
bash 复制代码
```
sqoop version
```

2. 配置SQL Server JDBC驱动

步骤：

下载驱动

从Microsoft下载JDBC驱动，选择最新版本（如mssql-jdbc-12.2.0.jre8.jar）。
复制驱动到Sqoop的lib目录
bash 复制代码
```
cp mssql-jdbc-12.2.0.jre8.jar $SQOOP_HOME/lib/
```

测试连接

bash 复制代码

sqoop list-databases \
--connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \
--username <USER> \
--password <PASSWORD>

替换<RDS_HOST>, <PORT>, <DATABASE>, <USER>, <PASSWORD>为实际值。

3. 生成SQL Server表结构

步骤：

获取Hive表列表

bash 复制代码

hive -e 'SHOW TABLES;' > hive_tables.txt

生成SQL Server DDL

编写脚本generate_ddl.sh：

bash 复制代码

#!/bin/bash
while read table; do
  # 获取Hive表结构
  hive -e "DESCRIBE FORMATTED $table" > describe_$table.txt
  
  # 转换为SQL Server DDL（示例，需根据实际类型调整）
  awk '/^col_name/{getline; while($0 !~ /^#/) {print $0; getline}}' describe_$table.txt | 
  awk '{printf "%s %s,\n", $1, 
    ($2 == "string") ? "VARCHAR(255)" : 
    ($2 == "int") ? "INT" : 
    ($2 == "timestamp") ? "DATETIME" : 
    "VARCHAR(255)"}' | 
  sed '$s/,$//' > $table.sql
  
  echo "CREATE TABLE $table (" > ddl_$table.sql
  cat $table.sql >> ddl_$table.sql
  echo ");" >> ddl_$table.sql
done < hive_tables.txt

运行脚本：

bash 复制代码

chmod +x generate_ddl.sh
./generate_ddl.sh

在SQL Server中创建表

使用sqlcmd或客户端工具执行生成的DDL。

4. 使用Sqoop导出数据

步骤：

获取Hive表HDFS路径

通常路径为：/user/hive/warehouse/<database>.db/<table>。确认路径：
bash 复制代码
```
hdfs dfs -ls /user/hive/warehouse/
```

导出命令示例

编写脚本export_all.sh：

bash 复制代码

#!/bin/bash
while read table; do
  sqoop export \
  --connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \
  --username <USER> \
  --password <PASSWORD> \
  --table $table \
  --export-dir /user/hive/warehouse/<database>.db/$table \
  --input-fields-terminated-by '\001' \
  --input-lines-terminated-by '\n' \
  -m 4
done < hive_tables.txt

替换占位符并运行：

bash 复制代码

chmod +x export_all.sh
./export_all.sh

5. 验证数据

在SQL Server中查询记录数 ：
sql 复制代码
```
SELECT COUNT(*) FROM <table>;
```
检查数据一致性，对比Hive和SQL Server的数据样本。

常见问题处理

数据类型不匹配：调整DDL中的类型映射。
分隔符错误 ：使用--input-fields-terminated-by指定正确的分隔符（Hive默认\001）。
连接超时 ：增加--connection-param-file中的超时设置。
权限问题：确保Hadoop用户有权访问HDFS路径，SQL Server用户有写入权限。

完整流程图

plaintext 复制代码

安装Sqoop → 配置JDBC驱动 → 生成Hive表列表 → 转换DDL → 创建SQL表 → Sqoop导出数据 → 验证

通过以上步骤，您可以将Hive中的所有表数据迁移到SQL Server RDS。根据数据量和网络情况，可能需要调整并行度（-m参数）和内存设置。