sqoop导入hdfs,hive

sqoop将mysql中的表导入到hdfs中

复制代码
sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'


将数据导入hive中,首先要在hive中创建目标表

复制代码
create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(
    id int,
    hon string,
    street string,
    city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

复制代码
 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs中

加上 --where id >= 120

hive导出到MySQL 是换个方向。

相关推荐
m0_716255003 小时前
第二部分 电商离线数仓 全套项目代码(可直接在你伪分布式 Hive 运行)
hive·hadoop·分布式
二十六画生的博客3 天前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
隐于花海,等待花开3 天前
41.ABS / POW / SQRT 函数深度解析
大数据·hive
千月落3 天前
HDFS数据迁移
大数据·hadoop·hdfs
隐于花海,等待花开4 天前
40.RAND 函数深度解析
hive·hadoop
孤雪心殇5 天前
快速上手数仓基础知识
数据仓库·hive·spark
隐于花海,等待花开5 天前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
看海的四叔6 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
WL_Aurora6 天前
Hadoop 通过 Web 界面上传文件到 HDFS 失败解决方案
hadoop·hdfs
曹牧8 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop