Sqoop的安装与配置

1.上传解压Sqoop

bash 复制代码

tar -zxf ../software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

1.1配置环境变量

bash 复制代码

export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

使得环境生效

bash 复制代码

source /etc/profile

查看版本信息sqoop version

1.2 配置sqoop-env.sh

bash 复制代码

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.4
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.4
export HIVE_HOME=/opt/module/hive-3.1.2
export HIVE_CONF_DIR=/opt/module/hive-3.1.2/conf
export HBASE_HOME=/opt/module/hbase-2.2.2
export HBASE_CONF_DIR=/opt/module/hbase-2.2.2/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*:$HBASE_HOME/lib/hbase-*.jar:$HBASE_HOME/lib/zookeeper-*.jar

1,3配置sqoop需要的mysql驱动

mysql驱动程序

将mysql-connector-java-5.1.32-bin.jar放入sqoop的lib目录

bash 复制代码

cp /opt/software/mysql-connector-java-5.1.32-bin.jar /opt/module/sqoop-1.4.7/lib/

记得启动zookeeper（zkServer.sh start）也许会要用到

测试连接mysql数据库列出mysql的所有数据库

8.0+

bash 复制代码

sqoop list-databases --connect jdbc:mysql://localhost:3306/?allowPublicKeyRetrieval=true --username root --password yourPassword1234!

5.7+

bash 复制代码

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P	
password( yourPassword1234!)

上述需要免密登录测试连接数据库列出mysql的所有数据库就需要在./etc/my.cnf加上密码验证跳过验证 $mysqld$ skip-grant-tables 然后重启mysql服务即可 systemctl restart mysqld

sql 复制代码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY 'yourPassword1234!' WITH GRANT OPTION;
FLUSH PRIVILEGES;

然后试试重新连接mysql数据库并列出mysql的所有数据库

bash 复制代码

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P

输入自己密码(yourPassword1234!)即可列出mysql的所有数据库

2. Sqoop常用操作

2.1 数据迁移

确保启动了集群

bash 复制代码

[root@slave2 ~]# 
sqoop import \
>--connect jdbc:mysql://slave2:3306/sqoop_db \
>--username root \
>--password yourPassword1234! \
>--table emp \
>--columns id,name,deg,salary,dept \
>--target-dir /sqoop_demo1 \
>--num-mappers 1

进入mysql切换sqoop_db在emp插入一条数据

sql 复制代码

insert into sqoop_db.emp values ('1209','itcast','java dev','15000','AC');

bash 复制代码

[root@slave2 ~]# sqoop import \
> --connect jdbc:mysql://slave2:3306/sqoop_db \
> --username root \
> --password yourPassword1234! \
> --target-dir /sqoop \
>--table emp \
>--columns id,name,deg,salary,dept \
> --num-mappers 1 \
> --incremental append \
> --check-column id \
> --last-value 1205

2.2使用sqoop的where语句

bash 复制代码

sqoop import --connect jdbc:mysql://slave2:3306/sqoop_db --username root --password yourPassword1234! --table emp_add --columns id,hno,street,city --where "city='beijing'" --target-dir /sqoop/city_beijing --num-mappers 1

2.3 sqoop导出

进入mysql切换sqoop_db数据库

创建表

sql 复制代码

create table if not exists sqoop_db.emp_export
            (
               id int(11) not null ,
               name varchar(100) default null,
               deg varchar(100) default null,
               salary int(11) default null,
               dept varchar(10) default null,
               primary key (id)
            );

bash 复制代码

sqoop export --connect jdbc:mysql://slave2:3306/sqoop_db --username root --password yourPassword1234! --table emp_export --export-dir /sqoop/part-m-00000 --num-mappers 1 --columns "id,name,deg,salary,dept"