sqoop导入hdfs,hive

sqoop将mysql中的表导入到hdfs中

复制代码
sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'


将数据导入hive中,首先要在hive中创建目标表

复制代码
create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(
    id int,
    hon string,
    street string,
    city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

复制代码
 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs中

加上 --where id >= 120

hive导出到MySQL 是换个方向。

相关推荐
B站计算机毕业设计超人14 小时前
计算机毕业设计Python+百度千问大模型微博舆情分析预测 微博情感分析可视化 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hive·hadoop·python·毕业设计·知识图谱·课程设计
王九思21 小时前
大数据查询工具Hive介绍
大数据·hive·hadoop
王九思1 天前
Hive Hook 机制
数据仓库·hive·hadoop
JavaEdge.2 天前
java.io.IOException: Previous writer likely failed to write hdfs报错解决方案
java·开发语言·hdfs
lipWOFb2 天前
扩展卡尔曼滤波soc估算 基于EKF算法的锂电池SOC 卡尔曼滤波估计电池soc ,simul...
hive
鹿衔`2 天前
CDH 6.3.2 异构集群优化实施文档
hdfs·yarn·cdh·cdh集群优化
走遍西兰花.jpg2 天前
hive如何使用python脚本
数据仓库·hive·hadoop·python
德彪稳坐倒骑驴2 天前
Hive电商分析项目 Azkaban自动化运行
hive·hadoop·自动化
yumgpkpm2 天前
Cloudera CDP/CMP华为鲲鹏版下 Spark应用加速,华为昇腾芯片的实用配置过程
hive·hadoop·elasticsearch·flink·kafka·hbase·cloudera
m0_748252382 天前
ervlet 编写过滤器
数据仓库·hive·hadoop