利用sqoop实现sql表数据导入到Hadoop

1.在开发这创建好sql表后,开始执行下面步骤

2.sqoop的安装路径,我这里放在以下位置

  1. 进入到option2脚本中,下面是脚本里的内容

下面四点要根据情况随时更改:

1>jdbc:mysql://node00:3306/数据库名

2>sid,sname->前面是表里的字段名,用','分隔开

3>b->是数据库里的表名称

4>/datl/warehouse/b/->前面的Hadoop的路径,我们的数据库里的数据就是放到该路径位置

4.最后我们在Moba里进行命令运行

sqoop --options-file option2路径位置(/home/dir4sqoop/options)

5.需要等待一会儿,等最终显示successfully后,我们可以登录node00:9870,进入Hadoop网址,前提是先启动Hadoop,页面效果如下,我们可以看到数据库里的数据成功到Hadoop里了。

以上是Hadoop网址,但是我把数据转到idea里创建的表里了,所以没数据了 ,后面介绍下通过hive将数据转到idea创建的表中。

相关推荐
IvorySQL16 分钟前
代价比较的变革——PostgreSQL执行计划干预增强深度解析
数据库·postgresql·ffmpeg
SL-staff17 分钟前
离散制造企业如何应对频繁插单?智能排产系统带来新思路
大数据·数据库·人工智能·技术教程·智能排产·jvs-aps·排产系统
码云数智-园园24 分钟前
Oracle 锁等待、会话阻塞故障复盘:生产事故排查步骤
数据库·oracle
哈__1 小时前
从 MySQL 到在线表格:NocoDB 自托管部署、数据导入与远程访问
数据库·mysql
倔强的石头1062 小时前
高可用与无感扩容——分布式时序数据库选型指南
数据库·分布式·时序数据库
袋鼠云数栈11 小时前
实时湖仓如何真正做到“数据够新”?
大数据·数据库·人工智能·数据治理
ACP广源盛1392462567311 小时前
M6/M5 Pro Mac mini 端侧 AI 落地@ACP#YLB3116 中端多盘存储扩展在 AI 服务中的机会与应用场景
大数据·网络·数据库·人工智能·嵌入式硬件·macos
ACP广源盛1392462567311 小时前
M6/M5 Pro Mac mini 端侧 AI 新形态@ACP#GSV5800 Serdes 长距离视频传输在 AI 服务中的机会与落地场景
大数据·网络·数据库·人工智能·嵌入式硬件·macos·音视频
倔强的石头_13 小时前
事务边界与批量写入:避免长事务、锁等待和日志压力
数据库
努力努力再努力wz13 小时前
【Redis入门系列】从 KEYS 到 SCAN:渐进式遍历、Cursor 与位反转原理
数据库·redis·缓存