Sqoop实操案例-互联网招聘数据迁移

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇


个人主页:beixi@

本文章收录于专栏(点击传送):【大数据学习】
💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓

上一篇文章写到了Sqoop的安装与验证,这篇文章接着上篇文章延伸Sqoop迁移数据的案例操作,如果Sqoop没有安装成功的小伙伴们可以参考我上一篇文章:大数据组件Sqoop-安装与验证

文章目录

1.环境介绍

本次用到的环境有:
Oracle Linux 7.4
Hadoop 2.7.4
mysql
sqoop

2.启动hadoop环境

1.打开命令窗口,启动HDFS平台。

bash 复制代码
start-all.sh

2.查看master上HDFS守护进程,注意:依据系统不同,实际显示可能与截图有出入,只要红色框中HDFS所示4个进程存在,即是正确

bash 复制代码
jps

3.互联网招聘数据迁移案例

1.进入Linux命令窗口,登录mysql,我这里账号密码都是root

bash 复制代码
mysql -uroot -proot

2.构建源数据库

bash 复制代码
create database job_db character set 'utf8' collate 'utf8_general_ci';

3.查看数据库

bash 复制代码
show databases;

4.使用job_db数据库

bash 复制代码
use job_db;

5.原始job.sql文件存储在/root/experiment/datas/job/job.sql,将原始数据导入mysql,构建原始表数据

bash 复制代码
source /root/experiment/datas/job/job.sql

6.查看导入结果

bash 复制代码
show tables;

7.查看表数据

bash 复制代码
select * from position;

8.退出mysql窗口

bash 复制代码
quit;

9. 进入sqoop根目录

bash 复制代码
cd /opt/sqoop

10.使用命令列出主机所有数据库

bash 复制代码
bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root 

11.用命令列出job_db数据库中所有的数据表

bash 复制代码
bin/sqoop list-tables --connect jdbc:mysql://localhost:3306/job_db --username root --password root

12.使用命令将数据库中的表导入到HDFS指定目录中

bash 复制代码
bin/sqoop import  --connect jdbc:mysql://localhost:3306/job_db --username root --password root --delete-target-dir --table position  --target-dir /sqoop/position --m 1 


13.查看/sqoop目录下的文件

bash 复制代码
hdfs dfs -ls -R /sqoop

14.查看导入到HDFS的文件内容

bash 复制代码
hdfs dfs -cat /sqoop/position/part-m-00000


15.再次将数据库中的表数据导入HDFS中,此次采用Tab制表格将字段进行分割

bash 复制代码
bin/sqoop import  --connect jdbc:mysql://localhost:3306/job_db --username root --password root --delete-target-dir --table position  --target-dir /sqoop/position2 --m 1 --fields-terminated-by '\t' 


16.查看HDFS中sqoop目录下的内容

bash 复制代码
hdfs dfs -ls -R /sqoop

17.查看导入到HDFS的文件内容

bash 复制代码
hdfs dfs -cat /sqoop/position2/part-m-00000



至此,互联网招聘数据迁移案例实验到到此结束,如果本篇文章对你有帮助记得点赞收藏+关注~

相关推荐
m0_4646082615 小时前
Nginx SSL/TLS 配置
运维·nginx·ssl
秃头菜狗15 小时前
下载CentOS 7——从阿里云上下载不同版本的 CentOS 7
linux·阿里云·centos
胡萝卜的兔15 小时前
ssh域名过期,消息推送到企业微信
运维·ssh·企业微信
Lin_Aries_042115 小时前
使用阿里云容器镜像服务 ACR
linux·阿里云·docker·云原生·centos·云计算
微盛AI企微管家15 小时前
企业微信AI功能升级:选对企业微信服务商协助四大AI场景落地
大数据·人工智能·企业微信
FOLLOW ME31115 小时前
MySQL集群高可用架构
数据库·mysql·架构
TG_yunshuguoji15 小时前
阿里云国际代理:稳定、高效、便捷的数据库服务-云数据库RDS
运维·服务器·数据库·阿里云·云计算
·云扬·15 小时前
MySQL 日志全解析:Binlog/Redo/Undo 等 5 类关键日志的配置、作用与最佳实践
android·mysql·adb
奋斗的蛋黄15 小时前
大数据与云计算知识点
大数据·hadoop·云计算
wanhengidc16 小时前
云手机可以用来托管游戏吗?
运维·网络·安全·游戏·智能手机