Hive 使用达梦DM8 无法识别 “COMMENT” 问题

  1. 将达梦数据库驱动 DmJdbcDriver18-8.1.2.192.jar 导入到 hive 的 lib 文件夹下

  2. 修改 hive 配置文件,增加 dm 数据库相关信息

    c 复制代码
    <property>
         <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:dm://127.0.0.1:5236?SCHEMA=hive</value>
         <description>
           JDBC connect string for a JDBC metastore.
           To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
           For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
         </description>
     </property>
    
      <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>dm.jdbc.driver.DmDriver</value>
         <description>Driver class name for a JDBC metastore</description>
       </property>
     <property>
    
     <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>SYSDBA</value>
         <description>Username to use against metastore database</description>
     </property>
    
     <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>SYSDBA</value>
         <description>Username to use against metastore database</description>
       </property>
     <property>
  3. 在导入数据时,出现无法识别 "COMMENT" 关键字错误,报 return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask, MetaException(message:Add request failed : INSERT INTO COLUMNS_V2 ...)错误,如下图:

    (1)经过排查 hive lib包下 datanucleus-rdbms-4.1.19.jar 源代码,缺少 "COMMENT" 关键字

    datanucleus-rdbms-4.1

    (2)官方源码地址::链接

    (3)修改 org.datanucleus.store.rdbms.adapter 下的 BaseDatastoreAdapter类 或者 org/datanucleus/store/rdbms/adapter/SQLConstants.java 类,在

    SQL99_RESERVED_WORDS 增加 "COMMENT"

    (4)重新打包后,替换Hive/lib下 的 datanucleus-rdbms-4.1.19.jar 包,重新执行hive命令即可成功

    (5)已经重新打包的 datanucleus-rdbms-4.1.19.jar提取码:1234

  4. 与原作者沟通后,得到回复大概意思是 "COMMENT" 在SQL92、SQL99、SQL2003 标准中不是保留关键字,所以后续也不会增加这个关键字,如有需求自行添加打包使用。

相关推荐
Qiuner36 分钟前
软件设计师速通其一:计算机内部数据表示
服务器·数据库·信号处理
IT成长日记1 小时前
【Hive入门】Hive分区与分区表完全指南:从原理到企业级实践
数据仓库·hive·hadoop·hive分区·hive分区表
文牧之2 小时前
PostgreSQL oracle_fdw 扩展解析
运维·数据库·postgresql
一个天蝎座 白勺 程序猿3 小时前
Python爬虫(9)Python数据存储实战:基于pymysql的MySQL数据库操作详解
数据库·python·mysql
Bug哆哆3 小时前
数据库安装和升级和双主配置
数据库
Themberfue3 小时前
Redis ⑥-string | hash | list
数据库·redis·分布式·缓存·list
jiaoxingk3 小时前
有关爬虫中数据库的封装——单线程爬虫
数据库·爬虫·python·mysql
JustLorain4 小时前
如何实现事务的可串行化快照隔离
数据库·后端·架构
星途码客4 小时前
SQL 易混易错知识点笔记1(drop,role,%,localhost)
数据库·sql·oracle
MXsoft6184 小时前
监控易一体化运维:巧用排班管理,提升运维协同效能
大数据·服务器·数据库