Sqoop 的安装与配置
1. 任务概述
本任务旨在指导大数据工程师或数据平台管理员，在Linux环境中完成Sqoop工具的安装与配置。通过本任务的学习与实践，学员将掌握从安装包准备、解压部署、环境配置、系统集成到功能验证与数据库连接测试的全流程技能。
核心目标：
掌握Sqoop在跨系统数据同步方面的基础部署与连接配置能力。
具备环境集成与数据源连通性验证等实践技能。
2. 知识目标
了解流程： 了解Sqoop通过JDBC连接数据库进行数据交互的基本流程与关键参数。
掌握架构： 掌握Sqoop的基本架构及其工作机制。
3. 技能目标
独立部署： 能够独立完成Sqoop安装包的解压、环境变量配置及关键参数文件的修改。
命令行操作： 熟练使用Sqoop命令行工具进行数据迁移与连接测试。
4. 素质目标
严谨细致： 培养在软件部署与配置过程中严谨、细致的工作习惯。
问题解决： 提升自主分析与解决环境配置及连接测试中常见问题的综合能力。
5. 重难点分析
重点： 配置环境依赖与连接参数。
难点： 环境兼容性与依赖冲突的解决。
6. 环境要求
操作系统： CentOS（Linux操作系统）
Java环境： JDK 1.8 或更高版本
集群环境： 已部署的Hadoop集群
数据库： MySQL
7. 任务实施步骤
7.1 准备安装包
将sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz安装包和MySQL驱动jar包上传至服务器指定路径 /opt/packages。
7.2 解压与部署
进入/opt/packages/目录下，执行解压命令解压到/opt/programs目录：
tar -zxvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz -C /opt/programs
注意： 使用 -z 参数处理gzip压缩，使用 -C 参数指定解压目标路径。
进入/opt/programs/目录下，重命名目录：
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop
7.3 配置Sqoop环境
进入配置目录/opt/programs/sqoop/conf，创建配置文件：
cp sqoop-env-template.sh sqoop-env.sh
编辑配置文件：
vi sqoop-env.sh
配置关键变量（根据实际安装路径填写）：
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
export HIVE_HOME=/opt/programs/apache-hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
7.4 配置系统环境变量
编辑系统配置文件：
vi /etc/profile
在文件末尾添加以下配置：
SQOOP_HOME
export SQOOP_HOME=/opt/programs/sqoop
export PATH=PATH:SQOOP_HOME/bin
export HADOOP_CLASSPATH=HADOOP_CLASSPATH:HIVE_HOME/lib/*
使配置生效：
source /etc/profile
7.5 复制Mysql的驱动jar包
进入 /opt/packages/ 目录下，将Mysql的驱动jar包，复制到/opt/programs/sqoop/lib/目录下，输入以下命令：
cp mysql-connector-java-5.1.32-bin.jar /opt/programs/sqoop/lib/
7.5 验证Sqoop安装
进入Sqoop的二进制文件目录/opt/programs/sqoop/bin，执行帮助命令，验证基础功能：
sqoop help
成功标志： 正常显示Sqoop命令的帮助信息，无报错。
7.6 测试数据库连接
使用Sqoop命令测试与MySQL数据库的连接，列出所有数据库：
sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password 123456
成功标志： 命令成功执行并返回MySQL服务器上的数据库列表。
恭喜你，学会了Sqoop的安装与配置！！！