sqoop的安装配置

1. 上传并解压安装包

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../server/

重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

2. 配置环境变量

sudo vim /etc/profile

|-----------------------------------------------------------------------------------------|
| # 配置sqoop的环境变量 export SQOOP_HOME=/export/server/sqoop export PATH=PATH:SQOOP_HOME/bin |

source /etc/profile

3. 修改sqoop的配置文件

cp /SQOOP_HOME/conf/sqoop-env-template.sh /SQOOP_HOME/conf/sqoop-env.sh

vim sqoop-env.sh

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/export/server/hadoop #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/export/server/hadoop #set the path to where bin/hbase is available export HBASE_HOME=/export/server/hbase #Set the path to where bin/hive is available export HIVE_HOME=/export/server/hive #Set the path for where zookeper config dir is export ZOOCFGDIR=/export/server/ zookeeper/conf |

4.上传相关jar包

上传

#mysql驱动下载地址:Maven Repository: JDBC Drivers (mvnrepository.com)

mysql-connector-java-8.0.8-dmr-bin.jar

hive/lib目录下

commons-lang-2.6.jar

hive-common-2.3.9.jar

protobuf-java-3.22.2.jar

到sqoop/lib目录

5.测试

连接MySQL查看数据库列表

sqoop list-databases --username root --password 1234 --connect jdbc:mysql://node1:3306/

可见安装的sqoop可用。

6.问题解决

(1)报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils

解决办法:cp /export/server/apache-hive-3.1.3-bin/lib/commons-lang-2.6.jar /export/server/sqoop-1.4.7/lib/ 在hive中把相关包复制到sqoop的lib目录

(2)报错:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver

解决办法:上传MySQL驱动到sqoop/lib目录

#mysql驱动下载地址:

Maven Repository: JDBC Drivers (mvnrepository.com)https://mvnrepository.com/open-source/jdbc-drivers

相关推荐
牛奶咖啡131 天前
大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive的配置安装与使用
大数据·hive·hive的配置与安装·metastore服务的配置·hiveserver2服务配置·hive的常用sql操作·beeline的使用
Zhu7582 天前
在k8s集群环境部署高可用的Apache Hadoop3.1.1定制版集群
hadoop·kubernetes
还有你Y3 天前
软件工程架构
hadoop·架构·软件工程
向夏威夷 梦断明暄3 天前
基于Tez引擎的 Hive SQL 性能优化
hive·sql·性能优化
曾阿伦7 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
极光代码工作室8 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
liuxiaowei39 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal10 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
hkNaruto12 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
吾AI科技12 天前
基于Tez引擎的 Hive SQL 性能优化
大数据·hive·性能优化·tez