python连接hive报错:TypeError: can‘t concat str to bytes

目录

一、完整报错

二、解决

[三、 其他报错](#三、 其他报错)

四、impala方式连接hive


或者直接使用 pip install pyhive[hive] 安装。需要先 pip uninstall pyhive。

一、完整报错

Traceback (most recent call last):

File "D:/Gitlab/my_world/hive2csv.py", line 18, in <module>

conn = hive.Connection(host=host, port=port, username=username, password=password, database=database, auth=auth)

File "D:\Anaconda3\lib\site-packages\pyhive\hive.py", line 269, in init

self._transport.open()

File "D:\Anaconda3\lib\site-packages\thrift_sasl\init.py", line 82, in open

self._send_message(self.START, chosen_mech)

File "D:\Anaconda3\lib\site-packages\thrift_sasl\init.py", line 103, in _send_message

self._trans.write(header + body)

TypeError: can't concat str to bytes

二、解决

2.1、进入D:\Anaconda3\lib\site-packages\thrift_sasl\init.py文件

2.2、添加如下代码到第101行之前

python 复制代码
if (type(body) is str):
    body = body.encode()

2.2,修改后情况

然后就可以运行了。

三、 其他报错

报错:AttributeError: 'TSaslClientTransport' object has no attribute 'readAll'

解决:pip install thrift_sasl==0.3.0

其他报错可以参考文章:python连接hive

四、impala方式连接hive

4.1、依赖包

python 复制代码
pip install six bit_array thrift thrift_sasl sqlalchemy impyla -i https://pypi.tuna.tsinghua.edu.cn/simple

4.2、代码

python 复制代码
from impala.dbapi import connect

conn = connect(host=host,port=port,user=username,password=password,auth_mechanism=auth,database=database)
def get_sql_result(sql):
    # 鎵ц鏌ヨ骞惰幏鍙栫粨鏋?    cursor = conn.cursor()
    cursor.execute(sql)
    result = cursor.fetchall()
    columns = [desc[0] for desc in cursor.description]

    return result,columns


if __name__ == '__main__':

    hive_sql = 'show databases'
    result,columns = get_sql_result(hive_sql)

    df = pd.DataFrame(result,columns=columns)
相关推荐
kobe_OKOK_6 分钟前
快递鸟对接发快递后端设计系统
python·django
阿蔹6 分钟前
UI测试自动化-Web-Python-Selenium-2-元素操作、浏览器操作
前端·python·selenium·ui·自动化
Tipriest_10 分钟前
配置用户pip源与查看当前的pip的源的办法
linux·人工智能·python·pip
飞Link34 分钟前
【Sqoop】Linux(CentOS7)下安装Sqoop教程
linux·hive·hadoop·sqoop
雪域迷影1 小时前
使用Python库获取网页时报HTTP 403错误(禁止访问)的解决办法
开发语言·python·http·beautifulsoup·urllib
吃茄子的猫1 小时前
python中global全局变量
python
Flash.kkl1 小时前
Python基础语法
开发语言·python
飞Link1 小时前
【Hive】Linux(CentOS7)下安装Hive教程
大数据·linux·数据仓库·hive·hadoop
veminhe1 小时前
Python(二) 容器类型与对应操作行为
python
人工干智能2 小时前
调用client.beta.threads.runs.create后交由OpenAI云服务器端的处理
服务器·python·llm