利用sqoop实现sql表数据导入到Hadoop

1.在开发这创建好sql表后,开始执行下面步骤

2.sqoop的安装路径,我这里放在以下位置

  1. 进入到option2脚本中,下面是脚本里的内容

下面四点要根据情况随时更改:

1>jdbc:mysql://node00:3306/数据库名

2>sid,sname->前面是表里的字段名,用','分隔开

3>b->是数据库里的表名称

4>/datl/warehouse/b/->前面的Hadoop的路径,我们的数据库里的数据就是放到该路径位置

4.最后我们在Moba里进行命令运行

sqoop --options-file option2路径位置(/home/dir4sqoop/options)

5.需要等待一会儿,等最终显示successfully后,我们可以登录node00:9870,进入Hadoop网址,前提是先启动Hadoop,页面效果如下,我们可以看到数据库里的数据成功到Hadoop里了。

以上是Hadoop网址,但是我把数据转到idea里创建的表里了,所以没数据了 ,后面介绍下通过hive将数据转到idea创建的表中。

相关推荐
悄悄敲敲敲7 小时前
MySQL表的约束
数据库·mysql
鼠爷ねずみ7 小时前
SpringCloud前后端整体开发流程-以及技术总结文章实时更新中
java·数据库·后端·spring·spring cloud
九皇叔叔8 小时前
MySQL 数据库 Read View 详解
数据库·mysql·mvcc·read view
Elastic 中国社区官方博客9 小时前
Elasticsearch:圣诞晚餐 BBQ - 图像识别
大数据·数据库·elasticsearch·搜索引擎·ai·全文检索
cui_win9 小时前
Prometheus实战教程 - Redis 监控
数据库·redis·prometheus
JIngJaneIL9 小时前
基于java + vue个人博客系统(源码+数据库+文档)
java·开发语言·前端·数据库·vue.js·spring boot
TG:@yunlaoda360 云老大10 小时前
华为云国际站代理商备份策略设置过程中遇到问题如何解决?
服务器·数据库·华为云
SelectDB10 小时前
Doris Catalog 已上线!性能提升 200x,全面优于 JDBC Catalog,跨集群查询迈入高性能分析时代
数据库·数据分析·apache
TAEHENGV10 小时前
进度跟踪模块 Cordova 与 OpenHarmony 混合开发实战
android·javascript·数据库
神秘面具男0310 小时前
MySQL 从基础到实践
数据库·mysql