python采用jdbc连接kerberos认证的hive

背景

最近在开发中遇到了一个场景,公司需要连接kerberos认证的Hive,正常的情况下直接用pyhive就可以了,网上可以找到许多相关的解决方案,但是我们在使用中发现了一个问题,pyhive使用的是非开源的,在查询数据时容易出现bug,且需要很长时间才能够修复,为了规避这个问题,我们采用python jdbc连接的方式来规避这个问题;

解决思路

python有lib叫做jaydebeapi,是专门用来调用jdbc连接的,我们使用jaydebeapi调用jdbc连接hive,中间做好kerberos认证即可;参考代码如下:

python 复制代码
"""测试验证jaydebeapi连接hive,采用kerberos认证"""

import os
import jpype
import jaydebeapi

def main():
    driver = "org.apache.hive.jdbc.HiveDriver"
    HS2_HOST = "xxxx"
    HS2_PORT = 10000
    REALM    = "xxxx"
    url = f"jdbc:hive2://{HS2_HOST}:{HS2_PORT}/default;principal=hive/xxxx@{REALM};sasl.qop=auth-conf;"
    jdbc_path = "/opt/xxxx/"
    if not jpype.isJVMStarted():
        jpype.startJVM(
            jpype.getDefaultJVMPath(),
            f"-Djava.class.path={jdbc_path}/hive-jdbc.jar",
            "-Djava.security.krb5.conf=./krb5.conf",
            "-Djavax.security.auth.useSubjectCredsOnly=false",
            # 如需排查 Kerberos,打开下一行:
            # "-Dsun.security.krb5.debug=true",
        )

    # Kerberos认证连接;不需要 username/password)
    conn = jaydebeapi.connect(driver, url)
    cursor = conn.cursor()
    sqlstr = "select * from xxx"
    cursor.execute(sqlstr)
    result = cursor.fetchall()
    for r in result:
        print(r)

    cursor.close()
    conn.close()

if __name__ == '__main__':
    main()

注:1.当前运行代码的环境已经安装了kerberos的client,且已经完成了认证; 2.jdbc:hive2://{HS2_HOST}:{HS2_PORT}/default;principal=hive/xxxx@{REALM};sasl.qop=auth-conf; 中的参数和所在的集群相关,需要自己配置; sasl.qop 参数通常出现在使用 Kerberos 进行安全认证的系统中,尤其是在涉及 SASL (Simple Authentication and Security Layer) 的场景下,比如 Kafka、Hadoop、LDAP 等分布式系统或网络协议;其取值有如下三个:

  • auth:仅认证(Authentication only)。只验证身份,不提供数据加密或完整性保护。
  • auth-int:认证 + 完整性保护(Authentication + Integrity)。确保数据在传输过程中未被篡改,但不加密。
  • auth-conf:认证 + 完整性 + 机密性(Authentication + Integrity + Confidentiality)。提供完整加密,确保数据不被窃听。 开发者需要根据自己集群的配置来设置该参数;

`

相关推荐
分布式存储与RustFS39 分钟前
RustFS:MinIO的“平替”还是“乱杀”?
python·rust·对象存储·minio·存储·企业存储·rustfs
爱幻想-hjyp1 小时前
【Python】uv包管理器常用命令
开发语言·python·uv
用什么都重名1 小时前
UV工具安装配置使用教程
python·uv·包管理器
Python×CATIA工业智造1 小时前
Python装饰器解包装技术详解:从原理到高级应用
python·pycharm
王哈哈^_^1 小时前
PyTorch vs TensorFlow:从入门到落地的全方位对比
人工智能·pytorch·python·深度学习·计算机视觉·tensorflow·1024程序员节
刘逸潇20051 小时前
Python并发编程
python
Victory_orsh2 小时前
“自然搞懂”深度学习系列(基于Pytorch架构)——02小试牛刀
人工智能·python·深度学习·神经网络·机器学习
Bruce-li__2 小时前
CI/CD流水线全解析:从概念到实践,结合Python项目实战
开发语言·python·ci/cd
2401_841495643 小时前
自然语言处理实战——英法机器翻译
人工智能·pytorch·python·深度学习·自然语言处理·transformer·机器翻译
gAlAxy...3 小时前
面试JAVASE基础(五)——Java 集合体系
java·python·面试·1024程序员节