【hadoop】案例:Sqoop迁移仓库数据

1 数据导出:Hive导入MySQL

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop export \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --export-dir /user/hive/warehouse/mydb/mean_temperature \
> --input-fields-terminated-by "," \
> -m 1;
查询导出结果
mysql> select * from mean_temperature limit 10;

sqoop export命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名

--password:连接MySQL的密码

--table:数据导入到MySQL中的表名

--export-dir:导出数据在HDFS中的位置

--input-fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001"(我们之前是逗号)

-m:Map任务的并行度

2 数据导入:MySQL导入Hive

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop import \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --fields-terminated-by ',' \
> --delete-target-dir \
> -m 1 \
> --hive-import \
> --hive-database weather \
> --hive-table ods_mean_temperature;
查看导入结果
hive> use weather;
hive> select * from ods_mean_temperature limit 10;

sqoop import命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名 -

-password:连接MySQL的密码

--table:MySQL中需要导出的表名

--fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001",建议用逗号

--delete-target-dir:若对应的Hive表已存在则删除

-m:Map任务的并行度 --hive-import:表示导入到hive中

--hive-database:指定导入的数据库

--hive-table:指定导入的表名称

相关推荐
zzu123zsw5 小时前
01-Hadoop简介与生态系统
hadoop
鸿儒之观5 小时前
hadoop 框架 jar下载
大数据·hadoop·jar
2302_799525745 小时前
【Hadoop】Hadoop集群安装中出现的问题
linux·hadoop
IT研究室8 小时前
大数据毕业设计选题推荐-基于大数据的分化型甲状腺癌复发数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
计算机编程小央姐8 小时前
数据安全成焦点:基于Hadoop+Spark的信用卡诈骗分析系统实战教程
大数据·hadoop·python·spark·毕业设计·课程设计·dash
BYSJMG9 小时前
大数据毕业设计推荐:基于Spark的零售时尚精品店销售数据分析系统【Hadoop+python+spark】
大数据·hadoop·python·spark·django·课程设计
项目題供诗1 天前
Hadoop(七)
大数据·hadoop·分布式
小蒜学长1 天前
基于Hadoop的网约车公司数据分析系统设计(代码+数据库+LW)
java·大数据·数据库·hadoop·spring boot·后端
计算机毕设残哥1 天前
数据量太大处理不了?Hadoop+Spark轻松解决海洋气象大数据分析难题
大数据·hadoop·python·数据分析·spark·django·dash
Lx3521 天前
Hadoop数据处理流水线设计:提高作业执行效率
大数据·hadoop