【hadoop】案例:Sqoop迁移仓库数据

1 数据导出:Hive导入MySQL

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop export \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --export-dir /user/hive/warehouse/mydb/mean_temperature \
> --input-fields-terminated-by "," \
> -m 1;
查询导出结果
mysql> select * from mean_temperature limit 10;

sqoop export命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名

--password:连接MySQL的密码

--table:数据导入到MySQL中的表名

--export-dir:导出数据在HDFS中的位置

--input-fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001"(我们之前是逗号)

-m:Map任务的并行度

2 数据导入:MySQL导入Hive

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop import \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --fields-terminated-by ',' \
> --delete-target-dir \
> -m 1 \
> --hive-import \
> --hive-database weather \
> --hive-table ods_mean_temperature;
查看导入结果
hive> use weather;
hive> select * from ods_mean_temperature limit 10;

sqoop import命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名 -

-password:连接MySQL的密码

--table:MySQL中需要导出的表名

--fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001",建议用逗号

--delete-target-dir:若对应的Hive表已存在则删除

-m:Map任务的并行度 --hive-import:表示导入到hive中

--hive-database:指定导入的数据库

--hive-table:指定导入的表名称

相关推荐
计算机编程小央姐2 小时前
【Spark+Hive+hadoop】基于spark+hadoop基于大数据的人口普查收入数据分析与可视化系统
大数据·hadoop·数据挖掘·数据分析·spark·课程设计
计算机毕设残哥13 小时前
【Spark+Hive+hadoop】人类健康生活方式数据分析
大数据·hive·hadoop·python·数据分析·spark·dash
Lx35215 小时前
Hadoop批流一体化处理:实时与离线作业融合
大数据·hadoop
心止水j18 小时前
hive的安装
数据仓库·hive·hadoop
忘了ʷºᵇₐ18 小时前
在hadoop中Job提交的流程
java·hadoop
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的农产品交易数据分析与可视化系统-Spark-Hadoop-Bigdata
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
Dobby_051 天前
【Hadoop】HBase:构建于HDFS之上的分布式列式NoSQL数据库
大数据·hadoop·分布式·hbase
大数据CLUB1 天前
基于hive和mapreduce的地铁数据分析及可视化
大数据·hive·hadoop·分布式·数据分析·mapreduce
想去的远方1 天前
hive调优系列-3.HQL语法和运行参数层面
大数据·数据仓库·hive·hadoop
EmmaXLZHONG1 天前
HDFS和MapReduce——Hadoop的两大核心技
hadoop·hdfs·mapreduce