大数据组件之Sqoop

Sqoop的主要功能:

1.从源端抽取数据导入到目标端

2.从源端导出数据到目标端

抽取的主要数据源:

1.Oracle数据库

2.Mysql数据库

3.Doris数据库

Sqoop的主要命令以及功能:

1.全量抽取

2.增量抽取

3.覆盖数据

常用命令:

比如:

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \

--hive-import \

--connect jdbc:oracle:thin:@XXXX:1521:ORACLE_DB \

--username XXX\

--password XXXX \

--hive-table XXXX \

--fields-terminated-by ',' \

-m 5 \

--hive-database XXXX

注意问题:

1.如果导入的数据表中的数据用逗号隔开,那么fields-terminated-by ',' 不能用',',换成其他的符号格式

2.如果导入的数据出现脏数据或者导入的目标端数据比源端数据多,那么可以增加如下参数:

sqoop import --connect jdbc:mysql://ip:9030/database --username root --password XXXX --table XXXX --m 1 --hive-import --hive-overwrite --hive-database database --hive-table XXXX --hive-drop-import-delims

注意:

1.如果在hue中执行,那么不能换行

2.如果在hue中执行,那么用tab键进行分割

3.如果出现脏数据或者null数据,那么增加参数: --hive-drop-import-delims

4.数据增量覆盖,增加--hive-overwrite

5.出现一个隐藏性的问题,就是缺少mysql驱动,需要增加驱动,才能进行数据抽取和全量读取

综上: 主要用来抽取大量数据

相关推荐
Hello_Embed7 小时前
STM32HAL 快速入门(二十):UART 中断改进 —— 环形缓冲区解决数据丢失
笔记·stm32·单片机·学习·嵌入式软件
咸甜适中7 小时前
rust语言 (1.88) 学习笔记:客户端和服务器端同在一个项目中
笔记·学习·rust
Grassto8 小时前
RAG 从入门到放弃?丐版 demo 实战笔记(go+python)
笔记
Magnetic_h8 小时前
【iOS】设计模式复习
笔记·学习·ios·设计模式·objective-c·cocoa
周周记笔记11 小时前
学习笔记:第一个Python程序
笔记·学习
丑小鸭是白天鹅11 小时前
Kotlin协程详细笔记之切线程和挂起函数
开发语言·笔记·kotlin
潘达斯奈基~11 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
..过云雨12 小时前
05.【Linux系统编程】进程(冯诺依曼体系结构、进程概念、进程状态(注意僵尸和孤儿)、进程优先级、进程切换和调度)
linux·笔记·学习
咸甜适中12 小时前
rust语言 (1.88) egui (0.32.2) 学习笔记(逐行注释)(二十八)使用图片控件显示图片
笔记·学习·rust·egui
一又四分之一.12 小时前
高数基础知识(下)②
笔记