Apache Sqoop使用

1. Sqoop介绍

Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具。

Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

Hadoop 生态系统包括:HDFS、Hive、Hbase 等

RDBMS 体系包括:MySQL、Oracle、DB2 等

Sqoop 可以理解为:"SQL 到 Hadoop 和 Hadoop 到 SQL"。

站在 Apache 立场看待数据流转问题,可以分为数据的导入导出:

Import:数据导入。RDBMS----->Hadoop

Export:数据导出。Hadoop---->RDBMS

2. Sqoop导入------import

2.1 全量导入MySQL表数据到HDFS

从 MySQL 数据库服务器中的 userdb.emp 表导入到 HDFS。

sqoop 复制代码
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoopresult \
--table emp \	
--m 1

--target-dir 用来指定导出数据存放至 HDFS 的目录;

--m 用来指定导入时使用几个map任务进行并行;

。。。。。。

。。。。。

。。。。

。。。

。。

更多用法请参考: Sqoop详细使用

相关推荐
大数据CLUB3 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
超级小忍10 天前
Spring Boot 集成 Apache Kafka 实战指南
spring boot·kafka·apache
大数据CLUB10 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
張萠飛10 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
天上掉下来个程小白12 天前
Apache ECharts-02.入门案例
前端·spring boot·apache·echarts·苍穹外卖
SelectDB技术团队12 天前
Apache Doris 3.0.6 版本正式发布
大数据·数据分析·apache·实时分析·极速分析
高小秋13 天前
Hadoop 技术生态体系
大数据·hadoop·分布式
guygg8813 天前
Linux中的阻塞信号与信号原理
linux·mysql·apache
火龙谷14 天前
【hadoop】搭建考试环境(单机)
大数据·hadoop·分布式
liuze40814 天前
在VMware虚拟机集群中,完成Hive的安装部署
数据仓库·hive·hadoop