sqoop导入hdfs,hive

sqoop将mysql中的表导入到hdfs中

复制代码
sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'


将数据导入hive中,首先要在hive中创建目标表

复制代码
create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(
    id int,
    hon string,
    street string,
    city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

复制代码
 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs中

加上 --where id >= 120

hive导出到MySQL 是换个方向。

相关推荐
core5122 天前
Hive实战(三)
数据仓库·hive·hadoop
程序员小羊!3 天前
大数据电商流量分析项目实战:Hive 数据仓库(三)
大数据·数据仓库·hive
core5123 天前
Hive实战(一)
数据仓库·hive·hadoop·架构·实战·配置·场景
智海观潮3 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
奋斗的蛋黄3 天前
HDFS(Hadoop 分布式文件系统)知识点梳理
大数据·hadoop·hdfs
cxr8284 天前
基于Claude Code的 规范驱动开发(SDD)指南
人工智能·hive·驱动开发·敏捷流程·智能体
core5124 天前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇5 天前
Hive基础简介
数据仓库·hive·hadoop
像豆芽一样优秀7 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
青云交7 天前
Java 大视界 -- 基于 Java 的大数据分布式存储在智慧城市时空大数据管理与应用中的创新实践(408)
java·hdfs·flink·智慧城市·hbase·java 分布式存储·时空大数据