九,Linux基础环境搭建(CentOS7)- 安装Sqoop

Linux基础环境搭建(CentOS7)- 安装Sqoop

大家注意以下的环境搭建版本号,如果版本不匹配有可能出现问题!


一、Sqoop下载及安装

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

Sqoop的下载

Sqoop下载链接:https://pan.baidu.com/s/1hshFBW5Wkj9MnNMTYN_gGA

提取码:hqxt

将下载的安装包通过Xftp传输到Linux虚拟机/opt/software/中

Sqoop的安装

创建工作路径/usr/sqoop,下载hadoop安装包到/opt/software中,然后解压至工作路径。

复制代码
mkdir /usr/sqoop		#首先在根目录下建立工作路径/usr/hbase
cd /opt/software		#进入安装包的文件夹
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/sqoop
配置profile文件
复制代码
vim /etc/profile

添加内容如下:

复制代码
export SQOOP_HOME=/usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin
# wq保存
刷新profile文件
复制代码
source /etc/profile
修改sqoop-env.sh文件
复制代码
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

修改内容如下:

复制代码
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/hbase/hbase-1.2.4

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10/conf

具体的版本根据自己的环境为主!!

将mysql关系型数据库驱动包放到sqoop/lib目录下

这里需要下载mysql关系型数据库驱动包 放到本地/opt/software/下

mysql依赖包下载链接:https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw

提取码:a4l3

复制代码
cp /opt/software/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/
Sqoop测试
1 导入mysql数据到hdfs中

查看数据 导入数据

复制代码
cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop import \
	--connect "jdbc:mysql://slave2:3306/sparktest?useUnicode=true&characterEncoding=utf-8" \
	--username root \
	--password John123456 \
	--table employee \
	--m 1 \
	--driver com.mysql.jdbc.Driver \
	--target-dir /user/imports_sqoop_test/

查看结果 导出成功!

2 导出hdfs数据到mysql中

mysql数据库中sqoop库中出来sqoopdata表,表结构及数据如下所示: 将数据保存在本地/opt/data/下 将数据上传到hdfs上

复制代码
hdfs dfs -mkdir /user/sqooptest
hdfs dfs -put /opt/data/sqoopdata.txt /user/sqooptest/

在mysql端创建数据库和表

复制代码
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| hive_mysql         |
| hive_mysql_test    |
| mysql              |
| performance_schema |
| sparktest          |
| sys                |
| test               |
+--------------------+
9 rows in set (0.09 sec)

mysql> create database sqoopbase;
Query OK, 1 row affected (0.00 sec)

mysql> use sqoopbase;
Database changed

mysql> create table IF NOT EXISTS sqooptable ( id INT, name VARCHAR(20), gender VARCHAR(20) )character set utf8 collate utf8_general_ci;
Query OK, 0 rows affected (0.25 sec)

mysql> select * from sqooptable;
Empty set (0.04 sec)

通过sqoop从hdfs导出数据到mysql

复制代码
cd /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/bin/
sqoop export \
	--connect "jdbc:mysql://slave2:3306/sqoopbase?useUnicode=true&characterEncoding=utf-8" \
	--username root \
	--password John123456 \
	--table sqooptable \
	--fields-terminated-by ',' \
	--export-dir /user/sqooptest/sqoopdata.txt

导出成功!

3 关于sqoop实战可观看以下博客

!!!关于sqoop运行时的警告解决方式

可以看一下这一篇博客:


相关推荐
小皮侠34 分钟前
nginx的使用
java·运维·服务器·前端·git·nginx·github
Maki Winster1 小时前
在 Ubuntu 下配置 oh-my-posh —— 普通用户 + root 各自使用独立主题(共享可执行)
linux·运维·ubuntu
守望时空331 小时前
Linux下KDE桌面创建自定义右键菜单
linux
l0sgAi1 小时前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
翻滚吧键盘2 小时前
debian及衍生发行版apt包管理常见操作
运维·debian
Charlene Fung3 小时前
vs code远程自动登录服务器,无需手动输入密码的终极方案(windows版)
运维·服务器·vscode·ssh
麟城Lincoln3 小时前
【RHCSA-Linux考试题目笔记(自用)】servera的题目
linux·笔记·考试·rhcsa
碣石潇湘无限路3 小时前
【部署与总结】从本地运行到公网服务器的全过程
运维·服务器
linux修理工3 小时前
ipmitool 使用简介(ipmitool sel list & ipmitool sensor list)
运维·服务器
寻月隐君3 小时前
保姆级教程:Zsh + Oh My Zsh 终极配置,让你的 Ubuntu 终端效率倍增
linux·后端·命令行