sqoop Oracle to hive出现 Error Msg = ORA-00933: SQL 命令未正确结束

原sqoop脚本:

bash 复制代码
sqoop import \
--connect "jdbc:oracle:thin:@//10.82.88.223:61521/LZY2" \
--username LZSHARE \
--password 'LZ^share$5105' \
--driver oracle.jdbc.driver.OracleDriver \
--query "SELECT 
    TO_NUMBER(TO_CHAR(GCRQ, 'YYYY')) AS gcrq_year,
    TO_NUMBER(TO_CHAR(GCRQ, 'MM')) AS gcrq_month,
    TO_NUMBER(TO_CHAR(GCRQ, 'DD')) AS gcrq_day,
    YEAR,
    GCRQ,
    GCZBS,
    HOUR,
    MINUTE,
    CDH,
    XSFX,
    SBSBM,
    DCSJLX,
    SJXH,
    CLZQ,
    XKC,
    DKC,
    XHC,
    ZHC,
    DHC,
    TDH,
    JZX,
    MTC,
    TLJ,
    XKCS,
    DKCS,
    XHCS,
    ZHCS,
    DHCS,
    TDHS,
    JZXS,
    MTCS,
    TLJS,
    GCBFB,
    PJCTJJ,
    SJZYL,
    FLAGS,
    OFF_MINS,
    ERR_CODE,
    ERR_DESC,
    DELETE_BY,
    DELETE_TIME,
    CREATE_BY,
    CREATE_TIME,
    UPDATE_BY,
    UPDATE_TIME,
    INSERT_TIME
FROM LZJHGX.DAT_DCSJ_TIME 
WHERE TO_CHAR(GCRQ , 'YYYY-MM-DD') = TO_CHAR(SYSDATE, 'YYYY-MM-DD') AND \$CONDITIONS" \
--split-by "YEAR" \
--hive-import \
--hive-table ods_pre_dat_dcsj_time \
--hive-partition-key "gcrq_year,gcrq_month,gcrq_day" \
--target-dir /user/hive/warehouse/ods_pre_dat_dcsj_time \
--hive-partition-value "gcrq_year=${gcrq_year},gcrq_month=${gcrq_month},gcrq_day=${gcrq_day}" \
-- --hive-drop-import-delims

出现

关键在于sqoop在计算split-by切片字段时:OriginalSql = SELECT MIN(YEAR), MAX(YEAR) FROM (SELECT

TO_NUMBER(TO_CHAR(GCRQ, 'YYYY')) AS gcrq_year,

TO_NUMBER(TO_CHAR(GCRQ, 'MM')) AS gcrq_month,

TO_NUMBER(TO_CHAR(GCRQ, 'DD')) AS gcrq_day,

.......

FROM LZJHGX.DAT_DCSJ_TIME

WHERE TO_CHAR(GCRQ , 'YYYY-MM-DD') = TO_CHAR(SYSDATE, 'YYYY-MM-DD') AND (1 = 1) ) AS t1,

使用 AS t1的语法,Oracle是不支持select * from (select * from A) as t1,这种子查询AS 命名表名的写法。

那么sqoop脚本中如何避免呢?

解决办法:删除掉driver参数--driver oracle.jdbc.driver.OracleDriver

相关推荐
ClouGence3 天前
Oracle 数据同步为什么会出现数据不一致?长事务是常被忽略的原因
数据库·后端·oracle
ClouGence9 天前
Oracle CDC 架构优化:从主库直连到 DataGuard 备库同步
数据库·后端·oracle
王小王-12310 天前
基于 Hive 的网易云音乐数据分析及可视化系统
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云
曹牧10 天前
Oracle EXPLAIN PLAN
数据库·oracle
贤时间10 天前
codex 助力oracle ebs 开发
数据库·oracle
秉承初心10 天前
PostgreSQL 数据性能瓶颈突破实战
数据库·postgresql·oracle
Curvatureflight10 天前
MySQL 深分页越来越慢?从 LIMIT OFFSET 改成游标分页
数据库·oracle
XZ-07000110 天前
MySQL事务
数据库·mysql·oracle
tiancaijiben10 天前
阿里云函数计算FC如何实现网站的定时任务与自动化
数据库·oracle·dba
xfhuangfu10 天前
Oracle 19c 多租户体系架构介绍
数据库·oracle·架构