Linux基础环境搭建（CentOS7）- 安装Sqoop
大家注意以下的环境搭建版本号，如果版本不匹配有可能出现问题！
一、Sqoop下载及安装
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文"Bigtable：一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 
Sqoop的下载
Sqoop下载链接：https://pan.baidu.com/s/1hshFBW5Wkj9MnNMTYN_gGA
提取码：hqxt
将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中
Sqoop的安装
创建工作路径/usr/sqoop，下载hadoop安装包到/opt/software中，然后解压至工作路径。
mkdir /usr/sqoop #首先在根目录下建立工作路径/usr/hbase
cd /opt/software #进入安装包的文件夹
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/sqoop配置profile文件
vim /etc/profile添加内容如下：
export SQOOP_HOME=/usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin
# wq保存
刷新profile文件
source /etc/profile修改sqoop-env.sh文件
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh修改内容如下：
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.7.3
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3
#set the path to where bin/hbase is available
export HBASE_HOME=/usr/hbase/hbase-1.2.4
#Set the path to where bin/hive is available
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10/conf具体的版本根据自己的环境为主！！ 
将mysql关系型数据库驱动包放到sqoop/lib目录下
这里需要下载mysql关系型数据库驱动包 放到本地/opt/software/下
mysql依赖包下载链接：https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw
提取码：a4l3
cp /opt/software/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/Sqoop测试
1 导入mysql数据到hdfs中
查看数据 
导入数据
cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop import \
--connect "jdbc:mysql://slave2:3306/sparktest?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password John123456 \
--table employee \
--m 1 \
--driver com.mysql.jdbc.Driver \
--target-dir /user/imports_sqoop_test/查看结果 
导出成功！
2 导出hdfs数据到mysql中
mysql数据库中sqoop库中出来sqoopdata表，表结构及数据如下所示： 
将数据保存在本地/opt/data/下 
将数据上传到hdfs上
hdfs dfs -mkdir /user/sqooptest
hdfs dfs -put /opt/data/sqoopdata.txt /user/sqooptest/
在mysql端创建数据库和表
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| hive |
| hive_mysql |
| hive_mysql_test |
| mysql |
| performance_schema |
| sparktest |
| sys |
| test |
+--------------------+
9 rows in set (0.09 sec)
mysql> create database sqoopbase;
Query OK, 1 row affected (0.00 sec)
mysql> use sqoopbase;
Database changed
mysql> create table IF NOT EXISTS sqooptable ( id INT, name VARCHAR(20), gender VARCHAR(20) )character set utf8 collate utf8_general_ci;
Query OK, 0 rows affected (0.25 sec)
mysql> select * from sqooptable;
Empty set (0.04 sec)通过sqoop从hdfs导出数据到mysql
cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop export \
--connect "jdbc:mysql://slave2:3306/sqoopbase?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password John123456 \
--table sqooptable \
--fields-terminated-by ',' \
--export-dir /user/sqooptest/sqoopdata.txt
导出成功！
3 关于sqoop实战可观看以下博客
！！！关于sqoop运行时的警告解决方式
可以看一下这一篇博客：