Apache Hadoop生态组件部署分享-Sqoop

zookeeper: Apache Hadoop生态组件部署分享-zookeeper

hadoop:Apache Hadoop生态组件部署分享-Hadoop

hive: Apache Hadoop生态组件部署分享-Hive

hbase: Apache Hadoop生态组件部署分享-Hbase

impala:Apache Hadoop生态组件部署分享-Impala

spark: Apache Hadoop生态组件部署分享-Spark

下载地址: https://archive.apache.org/dist/sqoop/

1、上传压缩包并解压

apache 复制代码
tar -xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/apache/

2、将mysql驱动包放置在其lib下

apache 复制代码
cp /opt/softs/mysql-connector-java-5.1.47.jar /opt/apache/sqoop-1.4.7.bin__hadoop-2.6.0/lib

3、配置SQOOP环境

bash 复制代码
export SQOOP_HOME=/opt/apache/sqoop-1.4.7.bin__hadoop-2.6.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:${SQOOP_HOME}/bin

4、验证使用

cs 复制代码
[root@apache230 ~]# sqoop list-databases --connect jdbc:mysql://apache230.hadoop.com:3306/ --username root --password 123456

5、验证抽取数据

mysql数据准备

sql 复制代码
create table test.testsqoopb(name VARCHAR(100)) DEFAULT CHARSET=utf8;
INSERT INTO test.testsqoopb (name)  VALUES ('john_doe');INSERT INTO test.testsqoopb (name)  VALUES ('张三');
直接抽取到HDFS上
cpp 复制代码
sqoop import \--connect jdbc:mysql://apache230.hadoop.com:3306/test \--username root \--password 123456 \--table testsqoopb \--target-dir /test/sqoop/test_sqoop \--delete-target-dir \--fields-terminated-by "\t" \--num-mappers 1 
注: 如果要多个map执行,则需要加--split-by 字段
查看验证
直接抽取到HIVE中
apache 复制代码
sqoop import \--connect jdbc:mysql://apache230.hadoop.com:3306/test \--username root \--password 123456 \--table testsqoopb \--num-mappers 1 \--delete-target-dir \--hive-import \--fields-terminated-by "\t" \--hive-overwrite \--hive-table test_sqoop
抽取到hbase
apache 复制代码
sqoop import \--connect jdbc:mysql://apache230.hadoop.com:3306/test \--username root \--password 123456 \--table sqoophbase \--hbase-create-table \--hbase-row-key "name" \--hbase-table "test_sqoopb" \--column-family "info" \--num-mappers 1 \--split-by id
当前遇到问题,后续再看,版本兼容问题
6、导出数据到mysql
apache 复制代码
sqoop export \--connect 'jdbc:mysql://apache230.hadoop.com:3306/test?useUnicode=true&characterEncoding=utf-8' \--username root \--password 123456 \--table testsqoopb \--num-mappers 1 \--export-dir /warehouse/hive/warehouse/test_sqoop \--input-fields-terminated-by "\t"

验证查看

相关推荐
wuyk5555 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界8 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)10 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯11 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台13 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统15 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售