sqoop从hive导出mysql常见错误汇总

使用 sqoop 将其中一个表导入 hive:

选择 sqoop 的原因是，datax 不能直接将 mysql 的数据导入 hive,需要提前创建表，然后将数据导入表对应的 hdfs 上。

复制代码

sqoop import --connect jdbc:mysql://shucang:3306/jrxd \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table channel_info \
--hive-import \
--hive-overwrite \
--hive-table ods_jrxd_channel_info \
--hive-database finance \
-m 1

执行报错：

复制代码

Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringEscapeUtils
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 13 more

解决办法：

复制代码

cp /opt/installs/hive/lib/commons-lang-2.6.jar /opt/installs/sqoop/lib/

假如出现如下错误：

复制代码

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)

解决办法：

复制代码

cp /opt/installs/hive/lib/hive-common-3.1.2.jar /opt/installs/sqoop/lib/

报错：

复制代码

2024-09-19 15:38:09,650 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://shucang:9820/user/root/channel_info already exists

解决方案：

复制代码

hdfs dfs -rm -R /user/root/channel_info

假如我导入表的时候，表中的一个日期字段是 0000-00-00 00:00:00 就会报错

比如这个表 user_quota、dict_provinces

报如下错误：

复制代码

Caused by: java.sql.SQLException: Zero date value prohibited
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129)
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97)
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:89)
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:63)
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:73)
        at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:99)
        at com.mysql.cj.jdbc.result.ResultSetImpl.getTimestamp(ResultSetImpl.java:939)
        at org.apache.sqoop.lib.JdbcWritableBridge.readTimestamp(JdbcWritableBridge.java:111)
        at com.cloudera.sqoop.lib.JdbcWritableBridge.readTimestamp(JdbcWritableBridge.java:83)
        at user_quota.readFields(user_quota.java:307)
        at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:244)
        ... 12 more

导致三个表导入失败：

复制代码

在提取数据到hive中遇到一个错误,java.sql.SQLException: Zero date value prohibited.
更改了脚本内容,加了一句话:zeroDateTimeBehavior=convertToNull

于是命令变为：
sqoop import --connect jdbc:mysql://shucang:3306/jrxd?zeroDateTimeBehavior=convertToNull \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table user_quota \
--hive-import \
--hive-overwrite \
--hive-table ods_jrxd_user_quota \
--hive-database finance \
-m 1