大数据开发-Sqoop工具使用

文章目录

Sqoop安装配置

下载地址

官网下载地址:https://archive.apache.org/dist/sqoop/1.4.7/

安装配置

shell 复制代码
# 解压
[root@hadoop04 sqoop1.4.7]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 

# 修改配置 conf目录
[root@hadoop04 sqoop1.4.7]# mv sqoop-env-template.sh sqoop-env-sh
## 配置环境变量
[root@hadoop04 sqoop1.4.7]# vim /etc/profile
## 将mysql-connector-java-8.0.16.jar 以及commons-lang-2.6.jar传入lib目录

数据导入:MYSQL->HDFS

shell 复制代码
# mysql建表
CREATE TABLE `user` (
  `id` int DEFAULT NULL,
  `name` varchar(64) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

# 全量导入
# --delete-target-dir  如果存在目录就删除,不删除hdfs会报错
## --num-mappers 导出hdfs会产生mapreduce任务 默认是4
# --fields-terminated-by 生成到hdfs时文件的换行符
sqoop import --connect jdbc:mysql://ip:port/test?serverTimezone=UTC --username root --password 123456 --table user --target-dir /sqoopout --delete-target-dir --num-mappers 1 --fields-terminated-by '\t'

# 查看HDFS	
[root@hadoop04 sqoop1.4.7]# hdfs dfs -cat /sqoopout/*
1	test
2	tom
3	jerry


## 查询导入 $CONDITIONS必须带上
sqoop import --connect jdbc:mysql://ip:port/test?serverTimezone=UTC --username root --password 123456  --target-dir /sqoopout2 --delete-target-dir --num-mappers 1 --fields-terminated-by '\t' --query 'select id,name from user where id > 1 and $CONDITIONS'

# 查看HDFS	
[root@hadoop04 sqoop1.4.7]# hdfs dfs -cat /sqoopout2/*
2	tom
3	jerry

# 如果表中有null字段可以给出默认值,一般后期都会导入到数据仓库hive中,对于hive而言\N才能识别为null,--null-string '\\N'
# --null-string  对于null字符串
# --null-non-string 对于非null的列
sqoop import --connect jdbc:mysql://ip:port/test?serverTimezone=UTC --username root --password 123456 --table user --target-dir /sqoopout --delete-target-dir --num-mappers 1 --fields-terminated-by '\t' --null-string 'default' --null-non-string '0'

数据导出:HDFS->MYSQL

shell 复制代码
# 导出 user2必须提前创建好
# --export-dir 指定需要导出的hdfs目录
sqoop export --connect jdbc:mysql://ip:port/test?serverTimezone=UTC --username root --password 123456 --table user2 --export-dir /sqoopout --input-fields-terminated-by '\t'

# 查看导出目录的内容
[root@hadoop04 sqoop1.4.7]# hdfs dfs -cat /sqoopout/*
1	test
2	tom
3	jerry
0	cassy
4	default

# 查看mysql数据库
mysql> select *from user2;
+------+---------+
| id   | name    |
+------+---------+
|    1 | test    |
|    2 | tom     |
|    3 | jerry   |
|    4 | default |
|    0 | cassy   |


# 导入时不存在则新增,存在则更新
sqoop export --connect jdbc:mysql://ip:port/test?serverTimezone=UTC --username root --password 123456 --table user2 --export-dir /sqoopout --input-fields-terminated-by '\t' --update-key id --update-mode allowinsert
相关推荐
莫彩33 分钟前
Mapreduce 工业界批式计算经验汇总(下)
大数据·mapreduce
爱吃面的猫5 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte5 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67986 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
暗影八度8 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源9 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度9 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源9 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据
学术小八10 小时前
第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·云计算
求职小程序华东同舟求职10 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技