使用sqoop操作HDFS与MySQL之间的数据互传

一,数据从HDFS中导出至MySQL中

1)开启Hadoop、mysql进程

bash 复制代码
start-all.sh

/etc/init.d/mysqld start

/etc/init.d/mysqld status

2)将学生数据stu_data.csv传到HDFS的/local_student目录下

bash 复制代码
在hdfs中创建目录
hdfs dfs -mkdir /local_student
上传自定义的本地数据
hdfs dfs -put /root/lab/data/stu_data.csv /local_student/

注意:若出现以下错误:mkdir: Cannot create directory /student. Name node is in safe mode.

解决方案:hadoop dfsadmin -safemode leave

3)运行MySQL,创建数据库student_data,创建hdfs_stu_score_mysql表。

进入MySQL:mysql -uroot -p123456(-u表示用户名,-pbiaosh)

sql 复制代码
create database student_data;

show databases;

use student_data;

create table hdfs_stu_score_mysql(

id int not null primary key,

name varchar(255),

age int,

score int);

退出客户端:

exit;

4)通过Sqoop,将HDFS上的数据导出到MySQL的hdfs_stu_score_mysql表中,具体命令如下:

bash 复制代码
sqoop export \

--connect jdbc:mysql://127.0.0.1:3306/student_data \

--username root \

--password 123456 \

--table hdfs_stu_score_mysql \
//--m 1 表示reduce数量定义为1个
--m 1 \

--export-dir /local_student/ \
//文件以制表符为分割符
--input-fields-terminated-by '\t' \

--columns="id,name,age,score"

5)MySQL中查询hdfs_stu_score_mysql表中数据

sql 复制代码
use student_data;

select * from hdfs_stu_score_mysql;

二,数据从MySQL中导入至HDFS中

1)在MySQL中筛选分数在85分(包括85分)以上的学生信息

sql 复制代码
# 进入MySQL客户端

mysql -uroot -p123456

use student_data;

# MySQL中建表

create table mysql_stu_top(

id int not null primary key,

name varchar(255),

age int,

score int

);

# 插入数据到mysql_stu_top表中:

insert into mysql_stu_top select * from hdfs_stu_score_mysql where score>=85;

# 查看结果

select * from mysql_stu_top;

# 退出客户端:

exit;

2)将MySQL中的mysql_stu_top表中数据导入到HDFS

bash 复制代码
sqoop import \

--connect jdbc:mysql://127.0.0.1:3306/student_data \

--username root \

--password 123456 \

--table mysql_stu_top \

--m 1 \

--target-dir /student/mysql_stu_top_hdfs

3)查看导入至HDFS中的数据

bash 复制代码
hdfs dfs -cat /student/mysql_stu_top_hdfs/part-m-00000
相关推荐
贝多芬也爱敲代码4 小时前
如何减小ES和mysql的同步时间差
大数据·mysql·elasticsearch
安当加密5 小时前
MySQL数据库透明加密(TDE)解决方案:基于国密SM4的合规与性能优化实践
数据库·mysql·性能优化
007php0075 小时前
某大厂跳动面试:计算机网络相关问题解析与总结
java·开发语言·学习·计算机网络·mysql·面试·职场和发展
JH30736 小时前
第七篇:Buffer Pool 与 InnoDB 其他组件的协作
java·数据库·mysql·oracle
阿沁QWQ7 小时前
MySQL服务器配置与管理
服务器·数据库·mysql
程序新视界8 小时前
MySQL“索引失效”的隐形杀手:隐式类型转换,你了解多少?
数据库·mysql·dba
XYiFfang9 小时前
【MYSQL】SQL学习指南:从常见错误到高级函数与正则表达式
sql·mysql·正则表达式·regexp_like·group_concat
叫我龙翔9 小时前
【MySQL】从零开始了解数据库开发 --- 数据表的约束
android·c++·mysql·数据库开发
流烟默10 小时前
MySQL索引调优之索引顺序必须和字段顺序一致吗?
mysql·索引调优
我是Superman丶11 小时前
【优化】Mysql指定索引查询或忽略某个索引
数据库·mysql