2024-02-06(Sqoop)

1.Sqoop

Apache Sqoop是Hadoop生态体系和RDBMS(关系型数据库)体系之间传递数据的一种工具。

Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。在翻译出的MapReduce中主要是对inputformat和outputformat进行定制。

Hadoop生态包括:HDFS,Hive,Hbase等。

RDBMS体系包括:Mysql,Oracle,DB2等。

Sqoop可以理解为:SQL到Hadoop,Hadoop到SQL。

2.Sqoop全量导入HDFS

从RDBMS导入到HDFS,表中的每一行视为HDFS的记录,所有的记录都存储为文本文件的文本数据。

3.Sqoop进行并行的数据导入

如果表的数据比较大,可以并行启动maptask执行导入操作,如果表没有主键,请指定根据哪个字段进行切分。

4.Sqoop导入HDFS中的分隔符也是可以通过命令指定的

5.Sqoop的导入命令示例:

注意事项:命令携带的参数必须出现在同一行,若换行就意味着自动提交执行,可以通过"\"表示未结束。

6.Hadoop,Hive,Mysql的关系:

Hive 和 HDFS、MySQL 之间的关系_hive、mysql与hdfs的关系-CSDN博客

7.全量导入mysql表数据到Hive

方式一:先复制表结构到hive中,然后再导入数据。

方式二:直接复制表结构数据到hive中。

(目的一样,命令不同罢了)

8.导入数据表子集

其实就是导入数据表中的一部分数据,用where关键字或者query关键字来过滤。

query关键字:

在sqoop命令中,就是--query命令参数,实际上就是执行了一个sql语句。且需要按照sqoop的规范来写query的命令语句。

相关推荐
方向研究4 小时前
盈利因子策略
大数据
Slow菜鸟4 小时前
Codex CLI 教程(五)| Skills 安装指南:面向 Java 全栈工程师打造个人 ECC(V1版)
大数据·前端·人工智能
狒狒热知识5 小时前
2026品效合一深度落地:软文营销平台重构企业品牌与业绩双增长新路径
大数据·人工智能·重构
城事漫游Molly7 小时前
研究设计核心 Toolkit:从“知道方法”到“真正会设计”
大数据·人工智能·算法·ai写作·论文笔记
一只幸运猫.7 小时前
核心概念层——深入理解 Agent 是什么
大数据·数据库·人工智能
金融Tech趋势派9 小时前
2026企业微信AI服务商实测:微盛·企微管家领跑私域客户运营赛道
大数据·人工智能·企业微信
青岛前景互联信息技术有限公司9 小时前
又到一年开学季,大学校园安全管理中的突出问题分析
大数据·人工智能·物联网
萤丰信息10 小时前
避坑指南+案例拆解,智慧园区建设如何少走弯路
大数据·智慧城市
柏颖漫谈10 小时前
欧洲汽车可能正扶持韩国电池制衡中国电池,不希望完全受制于人,但已经晚了
大数据·人工智能·汽车
成旭先生10 小时前
【2026年可用】企业信息查询API接口
java·大数据·模糊查询·企业信息