【Sqoop】Linux（CentOS7）下安装Sqoop教程

一、实验环境

1. 节点IP

主机名	IP
feilink1	192.168.10.101
feilink2	192.168.10.102
feilink3	192.168.10.103

2. 依赖组件

• Hadoop 3.3
• MySQL 8
• jdk 8

3. 没有特殊说明的都是在feilink1节点上的操作

4. MySQL配置

• 用户：root

• 密码：123456

  5. 各组件版本

  组件	版本
  CentOS	7
  Hadoop	3.3.4
  MySQL	8.0.29

  6. 用户密码

  • root(123456)
  • hadoop(hadoop)

二、下载Sqoop压缩包

下载地址：https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

上传压缩包到/export/server目录下

三、安装Sqoop

1. 解压文件

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2. 删除压缩包

rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

3. 重命名文件夹

mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

4. 配置环境变量

vim /etc/profile

# Sqoop
export SQOOP_HOME=/export/server/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

5. 安装成功

sqoop version

四、配置Sqoop

1. 修改配置文件

cd /export/server/sqoop/conf
vim  sqoop-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_COMMON_HOME=/export/server/hadoop
export HADOOP_MAPRED_HOME=/export/server/hadoop
# export HIVE_HOME=/opt/hive   # 如果需要导入 Hive
# export HBASE_HOME=/opt/hbase # 如果需要导入 HBase

2. 配置MySQL驱动

下载地址：http://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar

上传驱动文件到sqoop/lib文件夹

3. 配置依赖包

下载地址：https://repo1.maven.org/maven2/commons-lang/commons-lang/2.6/commons-lang-2.6.jar

上传驱动文件到sqoop/lib文件夹

四、测试Sqoop是否可用

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456