大数据组件之Sqoop

Sqoop的主要功能:

1.从源端抽取数据导入到目标端

2.从源端导出数据到目标端

抽取的主要数据源:

1.Oracle数据库

2.Mysql数据库

3.Doris数据库

Sqoop的主要命令以及功能:

1.全量抽取

2.增量抽取

3.覆盖数据

常用命令:

比如:

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \

--hive-import \

--connect jdbc:oracle:thin:@XXXX:1521:ORACLE_DB \

--username XXX\

--password XXXX \

--hive-table XXXX \

--fields-terminated-by ',' \

-m 5 \

--hive-database XXXX

注意问题:

1.如果导入的数据表中的数据用逗号隔开,那么fields-terminated-by ',' 不能用',',换成其他的符号格式

2.如果导入的数据出现脏数据或者导入的目标端数据比源端数据多,那么可以增加如下参数:

sqoop import --connect jdbc:mysql://ip:9030/database --username root --password XXXX --table XXXX --m 1 --hive-import --hive-overwrite --hive-database database --hive-table XXXX --hive-drop-import-delims

注意:

1.如果在hue中执行,那么不能换行

2.如果在hue中执行,那么用tab键进行分割

3.如果出现脏数据或者null数据,那么增加参数: --hive-drop-import-delims

4.数据增量覆盖,增加--hive-overwrite

5.出现一个隐藏性的问题,就是缺少mysql驱动,需要增加驱动,才能进行数据抽取和全量读取

综上: 主要用来抽取大量数据

相关推荐
一条破秋裤5 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
神明不懂浪漫5 小时前
【第八章】多线程(一)
java·开发语言·经验分享·笔记
星恒随风7 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
蒸蒸yyyyzwd7 小时前
秋招操作系统错题本
笔记·八股
星恒随风8 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
山楂树の8 小时前
Java 泛型:泛型类、泛型方法、泛型接口与通配符
java·开发语言·笔记
努力写代码的熊大11 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记
蒸蒸yyyyzwd11 小时前
深搜广搜学习笔记
笔记·学习
小七在进步11 小时前
string的实现(3)
开发语言·c++·笔记·visual studio
叼烟扛炮12 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain