Sqoop - 技术栈

前言

最近专业 NoSQL 的课程作业涉及到关系型数据库数据导入到非关系型数据库，其实我们也可以通过Java代码，通过JDBC将关系型数据库中的数据读取出来，然后写出到我们的非关系型数据库中（比如HBase）中。

原本 Sqoop 的学习计划还在后面阶段，现在既然用上了，今天就争取一下午学完，毕竟学校是不会教的。能学会并马上用到，这样的学习效果往往最好。Sqoop 只是一个工具，重点是学会使用。

Sqoop 介绍

Sqoop 的全称就是 SQL To Hadoop ，它可以把关系型数据库（MySQL、Orcale...）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 中的数据导入到关系型数据库中。

Sqoop 原理

将导入或导出命令翻译成 MapReduce 程序来实现，主要是对 InputFormat 和 OutputFormat 进行定制。

Sqoop 导入数据

在Sqoop中，"导入"概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，Hive，HBase）中传输数据，叫做：导入，即使用import关键字。

1、RDBMS 到 HDFS

1.1、全部导入

其中的斜杠的作用是因为 linux 下回车命令就会执行，用斜杠可以防止命令直接执行。

bash 复制代码

bin/sqoop import \    
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--table staff \
--target-dir /user/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

参数解释：

target-dir：目标目录（导入到 HDFS 后的存储目录）
delete-target-dir：如果目标目录已存在，直接删除
num-mappers 1：开启一个 MapTask
fields-terminated-by "\t"：以制表符分割开来，

运行结果：

1.2、查询导入

bash 复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--target-dir /user/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

注意：

如果你要通过查询结果来导入，那 SQL 语句后必须加 $CONDITIONS ，这个参数可以保证最终导入数据的顺序和原本的数据顺序一致。
如果 SQL 语句是双引号，那么必须在 $CONDITIONS 之前加反斜杠代表转义。

比如：

bash 复制代码

--query "select name,sex from staff where name = 'mike' and \$CONDITIONS;"

1.3、导入指定列

bash 复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--table staff \
--columns id,sex \
--target-dir /user/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

运行结果：

文件中只有 id 和 sex 字段，没有 name。

1.4、使用sqoop关键字筛选查询导入数据

bash 复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--target-dir /user/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

注意：

where 可以搭配 columns 使用

2、RDBMS 导入到 Hive

先会将 MySQL 的数据导入到 HDFS 的 /user/lyh/staff/ 目录下，再把数据迁移到 Hive（/user/hive/warehouse/staff_hive/）目录下，迁移后 /user/lyh/staff/ 下的数据被删除。

bash 复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

参数解释：

hive-import：导入到 Hive
hive-overwrite：覆盖的方式
hive-table：导入到 hive 哪张表

3、RDBMS 导入到 Hbase

直接通过 MapReduce 写入到 HBase 的表中，不需要向写入 Hive 一样需要中间结果写入到 /user/用户名/表名/ 下。

bash 复制代码

bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--table staff \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_staff" \
--num-mappers 1 \
--split-by id

参数说明：

hbase-create-table：如果创建表格
hbase-row-key：行键
hbase-table：迁移过来后的表名
column-family：列族名
split-by：当使用Sqoop将数据从关系型数据库导入HBase时，可以使用--split-by参数来提高导入过程的效率。Sqoop会根据指定的列将数据分割成多个部分，并并行处理这些部分，从而加速数据导入的速度。

注意：sqoop1.4.6只支持对 HBase1.0.1之前的版本的自动创建HBase表的功能，不能帮我们在 HBase 中创建表，需要我们自己手动创建一下。

bash 复制代码

create 'hbase_staff'
scan 'hbase_staff'

如果遇到缺少 NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>... 这种报错，建议下载一个低版本的 HBase ，把里面 lib 目录下的所有 jar 包都复制到 sqoop 的 lib 目录下，如果遇到重名的建议不要替换。

运行结果：

Sqoop 导出数据

在Sqoop中，"导出"概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

1、Hive/HDFS 到 RDBMS

bash 复制代码

bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/test \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

参数说明：

export-dir：要导出的数据所在目录。

注意：如果不加切割符号（input-fields-terminated-by），整个数据将会被当做一个字符串存到 RDBMS 表中的第一个字段。

清空 MySQL 表数据，防止主键冲突

sql 复制代码

truncate table staff;

执行 sqoop 命令，运行结果：

Sqoop 脚本打包

使用opt格式的文件打包sqoop命令，然后执行。写入到脚本后，我们把它交给任务调度框架 Oozie、Azkaban等这些工具来替我们定时执行。

1、创建一个 opt 文件

vim sqp.opt

bash 复制代码

export
--connect
jdbc:mysql://hadoop102:3306/test
--username
root
--password
123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

2、执行脚本

我们一般把下面的命令放到一个脚本中定时去执行。

bash 复制代码

bin/sqoop --options-file job/sqp.opt

3、测试

清空 MySQL 表格：

sql 复制代码

truncate table staff;

运行结果：