九，Linux基础环境搭建（CentOS7）- 安装Sqoop

Linux基础环境搭建（CentOS7）- 安装Sqoop

大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！

一、Sqoop下载及安装

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文"Bigtable：一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

Sqoop的下载

Sqoop下载链接：https://pan.baidu.com/s/1hshFBW5Wkj9MnNMTYN_gGA

提取码：hqxt

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

Sqoop的安装

创建工作路径/usr/sqoop，下载hadoop安装包到/opt/software中，然后解压至工作路径。

复制代码

mkdir /usr/sqoop		#首先在根目录下建立工作路径/usr/hbase
cd /opt/software		#进入安装包的文件夹
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/sqoop

配置profile文件

复制代码

vim /etc/profile

添加内容如下：

复制代码

export SQOOP_HOME=/usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin
# wq保存

刷新profile文件

复制代码

source /etc/profile

修改sqoop-env.sh文件

复制代码

mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

修改内容如下：

复制代码

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/hbase/hbase-1.2.4

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10/conf

具体的版本根据自己的环境为主！！

将mysql关系型数据库驱动包放到sqoop/lib目录下

这里需要下载mysql关系型数据库驱动包放到本地/opt/software/下

mysql依赖包下载链接：https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw

提取码：a4l3

复制代码

cp /opt/software/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

Sqoop测试

1 导入mysql数据到hdfs中

查看数据 导入数据

复制代码

cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop import \
	--connect "jdbc:mysql://slave2:3306/sparktest?useUnicode=true&amp;characterEncoding=utf-8" \
	--username root \
	--password John123456 \
	--table employee \
	--m 1 \
	--driver com.mysql.jdbc.Driver \
	--target-dir /user/imports_sqoop_test/

查看结果 导出成功！

2 导出hdfs数据到mysql中

mysql数据库中sqoop库中出来sqoopdata表，表结构及数据如下所示： 将数据保存在本地/opt/data/下 将数据上传到hdfs上

复制代码

hdfs dfs -mkdir /user/sqooptest
hdfs dfs -put /opt/data/sqoopdata.txt /user/sqooptest/

在mysql端创建数据库和表

复制代码

mysql&gt; show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| hive_mysql         |
| hive_mysql_test    |
| mysql              |
| performance_schema |
| sparktest          |
| sys                |
| test               |
+--------------------+
9 rows in set (0.09 sec)

mysql&gt; create database sqoopbase;
Query OK, 1 row affected (0.00 sec)

mysql&gt; use sqoopbase;
Database changed

mysql&gt; create table IF NOT EXISTS sqooptable ( id INT, name VARCHAR(20), gender VARCHAR(20) )character set utf8 collate utf8_general_ci;
Query OK, 0 rows affected (0.25 sec)

mysql&gt; select * from sqooptable;
Empty set (0.04 sec)

通过sqoop从hdfs导出数据到mysql

复制代码

cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop export \
	--connect "jdbc:mysql://slave2:3306/sqoopbase?useUnicode=true&amp;characterEncoding=utf-8" \
	--username root \
	--password John123456 \
	--table sqooptable \
	--fields-terminated-by ',' \
	--export-dir /user/sqooptest/sqoopdata.txt

导出成功！

3 关于sqoop实战可观看以下博客

！！！关于sqoop运行时的警告解决方式

可以看一下这一篇博客：