2024-02-06(Sqoop)

1.Sqoop

Apache Sqoop是Hadoop生态体系和RDBMS(关系型数据库)体系之间传递数据的一种工具。

Sqoop工作机制是将导入或者导出命令翻译成MapReduce程序来实现。在翻译出的MapReduce中主要是对inputformat和outputformat进行定制。

Hadoop生态包括:HDFS,Hive,Hbase等。

RDBMS体系包括:Mysql,Oracle,DB2等。

Sqoop可以理解为:SQL到Hadoop,Hadoop到SQL。

2.Sqoop全量导入HDFS

从RDBMS导入到HDFS,表中的每一行视为HDFS的记录,所有的记录都存储为文本文件的文本数据。

3.Sqoop进行并行的数据导入

如果表的数据比较大,可以并行启动maptask执行导入操作,如果表没有主键,请指定根据哪个字段进行切分。

4.Sqoop导入HDFS中的分隔符也是可以通过命令指定的

5.Sqoop的导入命令示例:

注意事项:命令携带的参数必须出现在同一行,若换行就意味着自动提交执行,可以通过"\"表示未结束。

6.Hadoop,Hive,Mysql的关系:

Hive 和 HDFS、MySQL 之间的关系_hive、mysql与hdfs的关系-CSDN博客

7.全量导入mysql表数据到Hive

方式一:先复制表结构到hive中,然后再导入数据。

方式二:直接复制表结构数据到hive中。

(目的一样,命令不同罢了)

8.导入数据表子集

其实就是导入数据表中的一部分数据,用where关键字或者query关键字来过滤。

query关键字:

在sqoop命令中,就是--query命令参数,实际上就是执行了一个sql语句。且需要按照sqoop的规范来写query的命令语句。

相关推荐
2601_954971137 分钟前
2026年大数据专业证书报考指南
大数据
JZC_xiaozhong20 分钟前
赛狐ERP订单如何自动同步到金蝶云星空?从发货到应收单生成,全程实时
大数据·数据挖掘·数据分析·数据集成与应用集成·赛狐erp集成·金蝶系统集成·系统应用对接
Tongpao_SSDHDD23 分钟前
希捷酷鹰ST6000VX008实测解析:中小安防监控高性价比存储方案
大数据·数据库·人工智能
jkyy201427 分钟前
车载健康座舱成新赛道?汽车健康数字化重塑出行新价值
大数据·人工智能·汽车·健康医疗
zhuhai_xigedian34 分钟前
源网荷储一体化 vs 传统供用电模式:差异、优势与转型路径
大数据·人工智能·分布式·系统架构·能源
MetrixAeroCore36 分钟前
智能电表海外通信解决方案:低功耗、高稳定远程抄表IoT连接
大数据·物联网
啾啾Fun41 分钟前
【AI Coding】0-工程化视角理解AI Coding与LLM应用的上下文演化
大数据·人工智能
Rider_bai1 小时前
长春到天津物流专线,长春到天津物流公司,如何找到靠谱公司的联系方式?
大数据·网络·物联网·敏捷流程·交通物流
团象科技1 小时前
从一线实操案例拆解不同出海团队落地海外VPS运维独立站的路径细节
大数据·数据库·人工智能