Sqoop导入数据(mysql---->>hive)

目录

  • 数据传输流程
  • 脚本
  • 报错和异常说明
    • [1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf](#1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf)
    • [2. 数据导入hive后显示NULL](#2. 数据导入hive后显示NULL)

数据传输流程

mysql---->>hdfs---->>hive

数据从mysql表中取出,放到hdfs上(由target-dir指定目录),所有数据转移完成后,将hdfs上传数据到hive表的对于目录下,并将该目录删除

脚本

bash 复制代码
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student4
--delete-target-dir
--num-mappers
1
--bindir 
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,
--hive-import
--hive-table
student

报错和异常说明

1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

原因 :缺少hive的配置文件
解决方案:将hive目录下的hive-common-3.1.2.jar移动到sqoop的lib目录下

2. 数据导入hive后显示NULL

原因 :建hive表是设定的分割符不恰当,跟从mysql导入过来的数据的分隔符不一样,所以导致hive切分不了数据,于是查询为空,但是这个过程,不属于导入失败,所以导入脚本正常运行。

导入流程:mysql---->>hdfs---->>hive
解决方案

首先检查mysql内部的数据是否正确导入到hdfs中

一般而言,mysql中的数据切分是','

检查hdfs中的数据情况(执行以下代码)
sqoop脚本student

bash 复制代码
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student3
--delete-target-dir
--num-mappers
1
--bindir 
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,

脚本执行代码

bash 复制代码
sqoop --options-file sqoop_student.txt

检查生成的hdfs文件

bash 复制代码
 hdfs dfs -cat /sqoop/student3/part-m-00000

分析

hdfs中,数据以','进行分割,因此hdfs---->>hive中也需要设定','作为分隔符

hive数据库创建
数据库创建脚本

设定','作为分割符

bash 复制代码
create table student
(
    id   string,
    name string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

检查数据库情况

bash 复制代码
show create table student;


完整的导入脚本mysql---->>hdfs---->>hive

bash 复制代码
import
--connect
jdbc:mysql://127.0.0.1:3306/sqoop
--username
root
--password
password
--as-textfile
--target-dir
/sqoop/student4
--delete-target-dir
--num-mappers
1
--bindir 
/opt/module/sqoop/lib
--table
student
--columns
id,name
--fields-terminated-by
,
--hive-import
--hive-table
student

总结

可以修改分隔符为其他的形式'\t' '\001'都可以,但是需要保证hdfs和hive中的分隔符统一

相关推荐
王强你强4 分钟前
MySQL 高级查询:JOIN、子查询、窗口函数
数据库·mysql
草巾冒小子5 分钟前
brew 安装mysql,启动,停止,重启
数据库·mysql
振鹏Dong3 小时前
MySQL 事务底层和高可用原理
数据库·mysql
·云扬·3 小时前
深度剖析 MySQL 与 Redis 缓存一致性:理论、方案与实战
redis·mysql·缓存
努力的小Qin4 小时前
银河麒麟V10 aarch64架构安装mysql教程
数据库·mysql·架构
运维开发那些事6 小时前
Mysql MIC高可用集群搭建
mysql
weixin_307779137 小时前
C#实现HiveQL建表语句中特殊数据类型的包裹
开发语言·数据仓库·hive·c#
GoingYoo7 小时前
MySQL原理:逻辑架构
数据库·sql·mysql
手握风云-8 小时前
MySQL数据库精研之旅第五期:CRUD的趣味探索(中)
数据库·mysql