Windows下安装Sqoop

一、Sqoop简介
二、Sqoop安装
- 2.1、Sqoop官网下载
- 2.2、Sqoop网盘下载
- 2.3、Sqoop安装（以version：1.4.7为例）
- - [2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录](#2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录)
  - [2.3.2、新增环境变量 SQOOP_HOME](#2.3.2、新增环境变量 SQOOP_HOME)
  - [2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin](#2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin)
  - [2.3.4、验证 Sqoop 是否安装成功：sqoop version](#2.3.4、验证 Sqoop 是否安装成功：sqoop version)
  - [2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）](#2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）)
  - - [2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理](#2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理)
    - - [2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz](#2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz)
      - 2.3.5.1.1.1、官网下载
        
        2.3.5.1.1.2、网盘下载
      - [2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz](#2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz)
      - [2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中](#2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中)
  - [2.3.6、重新验证 Sqoop 是否安装成功：sqoop version](#2.3.6、重新验证 Sqoop 是否安装成功：sqoop version)

一、Sqoop简介

1.1、Sqoop是什么

Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。

它包括以下两个方面：

1.1.1、可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。

1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。

1.2、底层实现原理

Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

1.3、特点

优点：它可以将跨平台的数据进行整合。

缺点：它不是很灵活。

1.4、Sqoop的重要的几个关键词

import ：从关系型数据库到Hadoop

export ：从Hadoop到关系型数据库。

1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version：1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址：http://archive.apache.org/dist/sqoop/

下载：sqoop-1.4.7.tar.gz 这个文件

2.2、Sqoop网盘下载

或者网盘下载：https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds

下载：sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装（以version：1.4.7为例）

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gz 到 D:\bigdata\sqoop\1.4.7

2.3.2、新增环境变量 SQOOP_HOME

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

2.3.4、验证 Sqoop 是否安装成功：sqoop version

管理员权限打开cmd命令窗口。输入：

powershell 复制代码

sqoop version

发现报错：找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法：下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址：http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载：https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz：

可以看到解压目录中有：sqoop-1.4.6.jar ，这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib

2.3.6、重新验证 Sqoop 是否安装成功：sqoop version

至此，Windows下安装Sqoop，安装成功！