【hadoop】案例:Sqoop迁移仓库数据

1 数据导出:Hive导入MySQL

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop export \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --export-dir /user/hive/warehouse/mydb/mean_temperature \
> --input-fields-terminated-by "," \
> -m 1;
查询导出结果
mysql> select * from mean_temperature limit 10;

sqoop export命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名

--password:连接MySQL的密码

--table:数据导入到MySQL中的表名

--export-dir:导出数据在HDFS中的位置

--input-fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001"(我们之前是逗号)

-m:Map任务的并行度

2 数据导入:MySQL导入Hive

复制代码
[hadoop@hadoop1 sqoop]$ bin/sqoop import \
> --connect 'jdbc:mysql://localhost/weather \
> --username root \
> --password 123456  \
> --table mean_temperature \
> --fields-terminated-by ',' \
> --delete-target-dir \
> -m 1 \
> --hive-import \
> --hive-database weather \
> --hive-table ods_mean_temperature;
查看导入结果
hive> use weather;
hive> select * from ods_mean_temperature limit 10;

sqoop import命令相关参数含义:

--connect:连接MySQL的URL(可以指定数据库)

--username:连接MySQL的用户名 -

-password:连接MySQL的密码

--table:MySQL中需要导出的表名

--fields-terminated-by:指定Hive表文件数据的分隔符,默认是"\001",建议用逗号

--delete-target-dir:若对应的Hive表已存在则删除

-m:Map任务的并行度 --hive-import:表示导入到hive中

--hive-database:指定导入的数据库

--hive-table:指定导入的表名称

相关推荐
starzy19906 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
AI源码1 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
演艺大赏3 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19903 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏4 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏4 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
吾AI科技6 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
freejackman11 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816314 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive
Francek Chen15 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql