Sqoop的安装和使用

目录

一.安装

二.导入

1.全量导入

一.MySQL导入HDFS

二.MySQL导入Hive

2.增量导入

一.过滤导入hdfs/hive

二.导出


一.安装

1.下载地址:sqoop下载地址

2.解压

python 复制代码
tar -zxvf ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../module/

3.改名和配置归属权限

bash 复制代码
#改名
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
#设置归属用户名和用户组(如果是root权限登入可以无需配置)
chown -R root:root sqoop

4.配置环境变量

vim /etc/profile

最后刷新配置: source /etc/profile

验证是否安装好sqoop
bash 复制代码
sqoop list-databases -connect jdbc:mysql://bigdata1:3306 --username root --password 123456

二.导入

1.全量导入

一.MySQL导入HDFS

python 复制代码
sqoop import                                              #导入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \            #配置连接url地址
--username root \                                         #用户名
--password 123456 \                                        #密码
--delete-target-dir \                                       #如果该地址存在则删除
--target-dir /mydata2 \                                     #hdfs目标路径
--fields-terminated-by '\t'   \                            #配置它的列分隔符
--table brand_info \                                        #mysql表名
--m 1                                      #配置map数为1,因为整个过程中只用了map没有reduce

查看是否导入成功

二.MySQL导入Hive

注意:

--hive-import 的配置项要在 --hive-database 之前

python 复制代码
sqoop import   \                      #导入
--connect jdbc:mysql://bigdata1:3306/ds_db01 \    #url和mysql库名
--username root \                          #用户名
--password 123456 \                       #密码
--table supplier_info \                    #数据库表名
--hive-import   \                          #导入hive
 --m 1  \                                  #map并行度
--hive-database sqoop_db;                  #hive目标数据库

查看hive中是否导入成功

2.增量导入

将满足条件的数据抽取到hdfs或hive,需要用到配置参数为 --where '表达式'

一.过滤导入hdfs/hive

1.1原表数据:

1.2增量导入命令

注意: where一般位于--table

python 复制代码
sqoop import -connect jdbc:mysql://bigdata1:3306/gehui  \
--username root                        \
--password 123456                        \
--where "tel=999999"      \       #设置增量条件
--table user          \
--target-dir /mydata4      \
--fields-terminated-by '\t'     \ 
--m 1 

1.3增量导入结果

二.导出

hdfs导出到mysql中

python 复制代码
sqoop export \
--connect jdbc:mysql:///gehui:3306?characterEncoding=UTF-8 \
--username root \
--password 123456\
--table test1 \
--m 1  \
--export-dir /root/sort-result   #需要导出的目录

--export-dir : 参数指定要从中导出数据的HDFS目录。

相关推荐
B站_计算机毕业设计之家1 小时前
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop ✅
大数据·hadoop·爬虫·python·数据分析·1024程序员节·舆情分析
大叔_爱编程5 小时前
基于随机森林算法的Boss直聘数据分析及可视化-hadoop+django+spider
hadoop·django·1024程序员节·spider·随机森林算法·boss直聘
毕设源码-赖学姐6 小时前
【开题答辩全过程】以基于Hadoop的电商数据分析系统为例,包含答辩的问题和答案
大数据·hadoop·分布式·1024程序员节
阿什么名字不会重复呢1 天前
Hadoop报错 Couldn‘t find datanode to read file from. Forbidden
大数据·hadoop·分布式
通往曙光的路上1 天前
day17_cookie_webstorage
数据仓库·hive·hadoop
B站_计算机毕业设计之家3 天前
python股票交易数据管理系统 金融数据 分析可视化 Django框架 爬虫技术 大数据技术 Hadoop spark(源码)✅
大数据·hadoop·python·金融·spark·股票·推荐算法
随心............3 天前
sqoop采集完成后导致hdfs数据与Oracle数据量不符的问题。怎么解决?
hive·hadoop·sqoop
随心............4 天前
yarn面试题
大数据·hive·spark
Aurora_eye4 天前
记录之Ubuntu22.4虚拟机及hadoop为分布式安装
大数据·hadoop·分布式
随心............5 天前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark