python连接hive报错:TypeError: can‘t concat str to bytes

目录

一、完整报错

二、解决

[三、 其他报错](#三、 其他报错)

四、impala方式连接hive


或者直接使用 pip install pyhive[hive] 安装。需要先 pip uninstall pyhive。

一、完整报错

Traceback (most recent call last):

File "D:/Gitlab/my_world/hive2csv.py", line 18, in <module>

conn = hive.Connection(host=host, port=port, username=username, password=password, database=database, auth=auth)

File "D:\Anaconda3\lib\site-packages\pyhive\hive.py", line 269, in init

self._transport.open()

File "D:\Anaconda3\lib\site-packages\thrift_sasl\init.py", line 82, in open

self._send_message(self.START, chosen_mech)

File "D:\Anaconda3\lib\site-packages\thrift_sasl\init.py", line 103, in _send_message

self._trans.write(header + body)

TypeError: can't concat str to bytes

二、解决

2.1、进入D:\Anaconda3\lib\site-packages\thrift_sasl\init.py文件

2.2、添加如下代码到第101行之前

python 复制代码
if (type(body) is str):
    body = body.encode()

2.2,修改后情况

然后就可以运行了。

三、 其他报错

报错:AttributeError: 'TSaslClientTransport' object has no attribute 'readAll'

解决:pip install thrift_sasl==0.3.0

其他报错可以参考文章:python连接hive

四、impala方式连接hive

4.1、依赖包

python 复制代码
pip install six bit_array thrift thrift_sasl sqlalchemy impyla -i https://pypi.tuna.tsinghua.edu.cn/simple

4.2、代码

python 复制代码
from impala.dbapi import connect

conn = connect(host=host,port=port,user=username,password=password,auth_mechanism=auth,database=database)
def get_sql_result(sql):
    # 鎵ц鏌ヨ骞惰幏鍙栫粨鏋?    cursor = conn.cursor()
    cursor.execute(sql)
    result = cursor.fetchall()
    columns = [desc[0] for desc in cursor.description]

    return result,columns


if __name__ == '__main__':

    hive_sql = 'show databases'
    result,columns = get_sql_result(hive_sql)

    df = pd.DataFrame(result,columns=columns)
相关推荐
祁思妙想23 分钟前
Python中的FastAPI框架的设计特点和性能优势
开发语言·python·fastapi
Dingdangcat8634 分钟前
反恐精英角色识别与定位-基于改进的boxinst_r101_fpn_ms-90k_coco模型实现
python
世界唯一最大变量1 小时前
利用自定义积分公式,目前可以求出所有1元方程和1元积分的近似值
python
写代码的【黑咖啡】1 小时前
深入理解 Python 中的模块(Module)
开发语言·python
爱笑的眼睛112 小时前
超越 `cross_val_score`:深度解析Scikit-learn交叉验证API的架构、技巧与陷阱
java·人工智能·python·ai
smj2302_796826523 小时前
解决leetcode第3782题交替删除操作后最后剩下的整数
python·算法·leetcode
gCode Teacher 格码致知4 小时前
Python基础教学:Python 3中的字符串在解释运行时的内存编码表示-由Deepseek产生
python·内存编码
翔云 OCR API4 小时前
承兑汇票识别接口技术解析与应用实践
开发语言·人工智能·python·计算机视觉·ocr
likerhood5 小时前
3. pytorch中数据集加载和处理
人工智能·pytorch·python
Data_agent5 小时前
京东图片搜索商品API,json数据返回
数据库·python·json