利用sqoop实现sql表数据导入到Hadoop

1.在开发这创建好sql表后,开始执行下面步骤

2.sqoop的安装路径,我这里放在以下位置

  1. 进入到option2脚本中,下面是脚本里的内容

下面四点要根据情况随时更改:

1>jdbc:mysql://node00:3306/数据库名

2>sid,sname->前面是表里的字段名,用','分隔开

3>b->是数据库里的表名称

4>/datl/warehouse/b/->前面的Hadoop的路径,我们的数据库里的数据就是放到该路径位置

4.最后我们在Moba里进行命令运行

sqoop --options-file option2路径位置(/home/dir4sqoop/options)

5.需要等待一会儿,等最终显示successfully后,我们可以登录node00:9870,进入Hadoop网址,前提是先启动Hadoop,页面效果如下,我们可以看到数据库里的数据成功到Hadoop里了。

以上是Hadoop网址,但是我把数据转到idea里创建的表里了,所以没数据了 ,后面介绍下通过hive将数据转到idea创建的表中。

相关推荐
小石头 1008621 分钟前
MySQL 视图:把复杂变简单的“虚拟化”艺术
数据库·mysql
安当加密28 分钟前
PostgreSQL 透明数据加密(TDE)方案与应用场景详解
数据库·postgresql
怪我冷i1 小时前
dbeaver如何连接PostgreSQL数据库
数据库·ai编程·ai写作
QH_ShareHub1 小时前
如何使用 NHANES 数据库
数据库
wuhen_n1 小时前
系统架构设计师(三):数据库系统
数据库·系统架构
DB虚空行者1 小时前
MySQL误删/批量更新数据恢复实战:基于Flashback工具的完整方案
数据库·mysql
IvorySQL1 小时前
外键的本质竟然是触发器?深入解析 PostgreSQL 约束底层
数据库·postgresql·开源
九皇叔叔1 小时前
MySQL Next-Key Lock 锁表事故全拆解(从现象到根治)
数据库·mysql
短剑重铸之日2 小时前
7天读懂MySQL|Day 4:锁与并发控制
数据库·mysql·架构
程序 代码狂人3 小时前
开窗函数 集合运算 行列转换
sql