pyhive入门介绍和实例分析(探索票价与景点评分之间是否存在相关性)

介绍

PyHive 是一组 Python DB-API 和 SQLAlchemy 接口,可用于 Presto 和 Hive。它为 Python 提供了一个与 Presto 和 Hive 进行交互的平台,使得数据分析师和工程师可以更方便地进行数据处理和分析。

以下是使用 PyHive 进行数据分析时需要注意的几点:

  1. 安装和配置: 在开始之前,确保已经安装了以下软件:

    • Pip
    • Python 建议使用anaconda方便管理
    • JDK 注意兼容性
    • HivePresto
    • 版本兼容性 : 确保 PyHive 版本与 Hive 或 Presto 版本兼容。不同版本之间可能会有一些差异,需注意兼容性。 安装 PyHive 可以使用以下命令:
    css 复制代码
    pip install pyhive [hive]

    如果你想安装 Presto 驱动器,请使用以下命令:

    css 复制代码
    pip install pyhive [presto]
  2. 连接 Hive 数据库 : 使用 PyHive 连接 Hive 数据库非常简单。你需要传递正确的连接参数,例如:

    python 复制代码
    from pyhive import hive
    connection = hive.Connection(host='localhost', port=10000, database='mydatabase')
  3. 执行查询 : 使用 PyHive 执行查询也很容易,只需使用游标对象来执行查询:

    python 复制代码
    cursor = connection.cursor()
    cursor.execute('SELECT * FROM mytable')
    result = cursor.fetchall()
    for row in result:
        print(row)
  4. 使用 Pandas 进行数据分析 : 如果你更喜欢使用 Pandas 进行数据分析,可以将查询结果转换为 Pandas DataFrame

    python 复制代码
    import pandas as pd
    df = pd.read_sql('SELECT * FROM mytable', connection)
    print(df)

代码示例

python 复制代码
from pyhive import hive

# 设置连接参数
host = 'your_host'
port = 10000
username = 'your_username'
password = 'your_password'
database = 'your_database'

# 建立连接
conn = hive.Connection(host=host, port=port, username=username, password=password, database=database)

# 创建 Cursor 对象
cursor = conn.cursor()

# 执行查询
query = "SELECT * FROM your_table LIMIT 10"
cursor.execute(query)

# 获取查询结果
results = cursor.fetchall()

# 处理结果
for row in results:
    print(row)

# 关闭连接
cursor.close()
conn.close()

分析实例

现有两个hive表,表结构大约为:

需要实现需求:

票价与评分的关系: 探索票价与景点评分之间是否存在相关性。分析不同票价档次下景点的评分分布情况,以确定价格对游客评价的影响程度。

首先 找到所有非空的景区,

在xiecheng表中找到所有averagescore不为null的数据,在qvna表中找到所有price不为null的数据。

联合查询:

将两表所需数据放在一起。 将查询到的数据放到新的表中以方便后续查找和使用: 分类查找并计算平均值:

代码:

python 复制代码
# Author: 冷月半明
# Date: 2023/12/6
# Description: This script does XYZ.

from pyhive import hive

def creatConnection():
    conn = hive.Connection(host='******', port=10000, username='root')
    return conn

# 连接到 Hive
conn = creatConnection()
cursor = conn.cursor()


# 进入数据库
query = "use cjw_data"
cursor.execute(query)
# 查询去哪价格非空的景区
# query = "SELECT id,price FROM qvna WHERE price IS NOT NULL"
# 查询携程平均分非空的景区
# query = "SELECT id,averagescore FROM xiecheng WHERE averagescore IS NOT NULL"
# 将查询到的id,title,价格,平均分等数据存储到新的表中
# query = "CREATE TABLE priceAndCore AS " \
#         "SELECT qvna_clean.id,title,price,averagescore "\
# "FROM "\
# "    (SELECT id ,title,price FROM qvna WHERE price IS NOT NULL) AS qvna_clean "\
# "JOIN "\
# "    (SELECT id,averagescore FROM xiecheng WHERE averagescore IS NOT NULL) AS xiecheng_clean "\
# "ON qvna_clean.id = xiecheng_clean.id " \
#         # " LIMIT 5"\

# 计算各个区间票价景点之间的平均评价分
query = "SELECT "\
   " CASE "\
   "     WHEN price <= 50 THEN '低' "\
       " WHEN price <= 100 THEN '中' "\
      "  ELSE '高' "\
  "  END AS price_level, "\
    "AVG(averagescore) AS average_score "\
"FROM "\
"    priceAndCore "\
"GROUP BY "\
"    CASE "\
"        WHEN price <= 50 THEN '低' "\
"        WHEN price <= 100 THEN '中' "\
"        ELSE '高' "\
"    END"\

        # " LIMIT 5"\




cursor.execute(query)
tables = cursor.fetchall()
print('行数',len(tables))

# 打印数据库列表
for tables in tables:
    print(tables)


# 关闭连接
cursor.close()
conn.close()
相关推荐
千天夜3 分钟前
使用UDP协议传输视频流!(分片、缓存)
python·网络协议·udp·视频流
测试界的酸菜鱼7 分钟前
Python 大数据展示屏实例
大数据·开发语言·python
时差9539 分钟前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
Mephisto.java10 分钟前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
羊小猪~~11 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
Mephisto.java17 分钟前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database
道可云18 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
成都古河云29 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
软工菜鸡36 分钟前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
放飞自我的Coder40 分钟前
【python ROUGE BLEU jiaba.cut NLP常用的指标计算】
python·自然语言处理·bleu·rouge·jieba分词