python如何使用spark操作hive

文章目录


1、服务启动

bash 复制代码
# 启动hdfs和yarn
start-all.sh
# 日志服务也需要启动一下
mapred --daemon start historyserver
# 启动spark的日志服务
/opt/installs/spark/sbin/start-history-server.sh
#启动hive的metastore服务
h-server start metastore

2、修改配置

bash 复制代码
cd /opt/installs/spark/conf
# 新增:hive-site.xml
vi hive-site.xml
bash 复制代码
# 在这个文件中,编写如下配置:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://bigdata01:9083</value>
    </property>
</configuration>

# 接着将该文件进行分发:
xsync.sh hive-site.xml

xsync是一个自己编写的shell脚本,脚本编写详情链接:
大数据集群搭建以及使用过程中几个实用的shell脚本

3、验证

linux黑窗口进入spark:

bash 复制代码
/opt/installs/spark/bin/pyspark --master local[2]

进入后,通过内置对象spark,查询hive数据库或者表:

bash 复制代码
spark.sql("show databases").show()
spark.sql("select * from mydb01.student").show()

4、开发环境编写代码操作hive

其中环境需要修改成自己的路径:

python 复制代码
import os
import re

from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 配置环境
    os.environ['JAVA_HOME'] = 'D:/devs/javajdk/jdk8'
    # 配置Hadoop的路径,就是前面解压的那个路径
    os.environ['HADOOP_HOME'] = 'D:/learn_tools/hadoop-3.3.1'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_PYTHON'] = 'D:/learn_apps/anaconda/python.exe'  # 配置base环境Python解析器的路径
    os.environ['PYSPARK_DRIVER_PYTHON'] = 'D:/learn_apps/anaconda/python.exe'
    os.environ['HADOOP_USER_NAME'] = 'root'

    spark = SparkSession \
        .builder \
        .appName("HiveAPP") \
        .master("local[2]") \
        .config("spark.sql.warehouse.dir", 'hdfs://node01:9820/user/hive/warehouse') \
        .config('hive.metastore.uris', 'thrift://node01:9083') \
        .config("spark.sql.shuffle.partitions", 2) \
        .enableHiveSupport() \
        .getOrCreate()

    # 查询所有数学课程成绩大于语文课程成绩的学生学号
    resultDf = spark.sql("""
            select * from mydb01.t1
    """)

    resultDf.show()

    spark.stop()
相关推荐
全栈探索者13 分钟前
numpy基础
python·数据分析·numpy
程序员爱钓鱼31 分钟前
Python编程实战 - 函数与模块化编程 - Python内置模块(math、os、sys、random等)
后端·python·ipython
Blossom.11842 分钟前
把AI“灌”进奶瓶:1KB决策树让婴儿温奶器自己学会「恒温+计时」
人工智能·python·深度学习·算法·决策树·机器学习·计算机视觉
Jmayday2 小时前
python数据分析项目之:房地产数据可视化分析
python·信息可视化·数据分析
快乐的钢镚子4 小时前
【leetcode hot 100】49.字母异位词分组
python·leetcode
honeysuckle_luo5 小时前
RandLA-net-pytorch 复现
人工智能·pytorch·python
SunnyDays10116 小时前
Python 高效实现 Excel 与 TXT 文本文件之间的数据转换
python·excel转txt·文本转excel·excel转文本·txt转excel
硬件人某某某7 小时前
python基于卷积神经网络的桥梁裂缝检测系统(django),附可视化界面,源码
python·cnn·django
java1234_小锋7 小时前
PyTorch2 Python深度学习 - 自动微分(Autograd)与梯度优化
开发语言·python·深度学习·pytorch2
java1234_小锋7 小时前
PyTorch2 Python深度学习 - 简介以及入门
python·深度学习·pytorch2