利用sqoop实现sql表数据导入到Hadoop

1.在开发这创建好sql表后,开始执行下面步骤

2.sqoop的安装路径,我这里放在以下位置

  1. 进入到option2脚本中,下面是脚本里的内容

下面四点要根据情况随时更改:

1>jdbc:mysql://node00:3306/数据库名

2>sid,sname->前面是表里的字段名,用','分隔开

3>b->是数据库里的表名称

4>/datl/warehouse/b/->前面的Hadoop的路径,我们的数据库里的数据就是放到该路径位置

4.最后我们在Moba里进行命令运行

sqoop --options-file option2路径位置(/home/dir4sqoop/options)

5.需要等待一会儿,等最终显示successfully后,我们可以登录node00:9870,进入Hadoop网址,前提是先启动Hadoop,页面效果如下,我们可以看到数据库里的数据成功到Hadoop里了。

以上是Hadoop网址,但是我把数据转到idea里创建的表里了,所以没数据了 ,后面介绍下通过hive将数据转到idea创建的表中。

相关推荐
kali-Myon1 小时前
某校园门禁系统高危 SQL 注入漏洞挖掘复盘
数据库·sql·安全·web安全
程序员在囧途2 小时前
likeadmin-api API 中转站怎么做统一报价?从 /pricing、/user/balance 到 task_id 回执的落地方法
运维·服务器·数据库·likeadmin-api·api中转站·token计费
龙石数据3 小时前
MySQL 全量同步到 Hive 怎么做?三步配置教程
数据库·hive·mysql·数据治理·数据中台
程序员在囧途3 小时前
likeadmin-api API 算力超市怎么做供应商切换?统一鉴权、task_id 和 callback_url 才能稳交付
java·服务器·数据库·开放api·likeadmin-api·api算力超市
数据工匠老o4 小时前
连接池配置实战——从“连不上“到“连太多“的完整排查指南
数据库
一只专注api接口开发的技术猿5 小时前
电商评论自动化监控与情感数据分析完整落地教程(附可直接运行 Python 代码)
大数据·数据库·python·数据分析·自动化
hh真是个慢性子5 小时前
GaussDB Inside 2.23.01.280 集中式一主一备安装
数据库·database·gaussdb·国产数据库·高斯
沉静的小伙5 小时前
Spring事务
java·数据库·spring
大侠锅锅5 小时前
第 3 篇:节点自动化纳管——从裸机到可管理的 7 步安装流水线
数据库·自动化·边缘计算·iot
笃行3505 小时前
踩坑实战 | MySQL/PostgreSQL 迁移必踩:LEFT JOIN 莫名丢数据,KES 外连接消除避坑指南
数据库