CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

Agatha方艺璇2024-03-11 9:05

CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

1、 Sqoop 1.4.7 官网链接下载：

https://archive.apache.org/dist/sqoop/1.4.7/

2、把压缩包用mobaxterm拖到 /tools文件夹

3、解压

bash 复制代码

tar -zvxf /tools/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /training/

4、进入 /training 文件夹

bash 复制代码

cd /training

5、重命名文件夹

bash 复制代码

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

6、查看一下重命名成功没，可以看到改名为sqoop-1.4.7了

bash 复制代码

ll

7、编辑环境变量

bash 复制代码

vi ~/.bash_profile

1）加进去这个

bash 复制代码

#sqoop
export SQOOP_HOME=/training/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

2）按esc按钮后 :wq 保存并退出文件

3）生效环境变量

bash 复制代码

source ~/.bash_profile

8、Sqoop配置

1）进去配置文件路径

bash 复制代码

cd /training/sqoop-1.4.7/conf

2）复制一份

bash 复制代码

cp sqoop-env-template.sh sqoop-env.sh

3）更改文件sqoop-env.sh

bash 复制代码

vi sqoop-env.sh

4）看清楚自己的路径是啥，把以下加进去并更改

bash 复制代码

export HADOOP_COMMON_HOME=/training/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/training/hadoop-3.3.0
export HIVE_HOME=/training/hive

5）加入mysql的jdbc驱动包到sqoop的lib文件夹

链接：https://pan.baidu.com/s/1gD2M8Gr9IFOkOA4EghfWLg?pwd=32r8

9、检查是否可用

1）sqoop版本号查询

bash 复制代码

sqoop version

2）sqoop帮助查询

bash 复制代码

sqoop-help

10、测试sqoop链接Linux Mysql

bash 复制代码

sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!

可能报错：

Exception in thread "main" java.lang.NoClassDefFoundError:

org/apache/commons/lang/StringUtils

a）原因：

找不到类，sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x

b）解决办法：

解决版本问题即可，commons-lang版本改为2.x

c）点击下载百度网盘链接：

commons-lang-2.6.jar

d）替换版本的commons-lang的jar包,将2.x版本的jar复制到sqoop的lib目录下,并删除3.x版本。

e）再尝试就可以了

bash 复制代码

sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!

11、测试sqoop链接Windows Mysql

bash 复制代码

sqoop list-databases --connect jdbc:mysql://192.168.163.1 --username root --password Root123!