spark将数据输出到hive或mysql中

hive

复制代码
启动以下服务:
start-dfs.sh
start-yarn.sh
mapred --daemon start historyserver
/opt/installs/spark/sbin/start-history-server.sh
hive-server-manager.sh start metastore

import os

from pyspark.sql import SparkSession

"""
------------------------------------------
  Description : TODO:
  SourceFile : 02、spark
  Author  : null
  Date  : 2024/11/6
-------------------------------------------
"""

if __name__ == '__main__':
    # 配置环境
    os.environ['JAVA_HOME'] = 'E:/java-configuration/jdk-8'
    # 配置Hadoop的路径,就是前面解压的那个路径
    os.environ['HADOOP_HOME'] = 'E:/applications/bigdata_config/hadoop-3.3.1/hadoop-3.3.1'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'

    os.environ['HADOOP_USER_NAME'] = 'root'

    spark = SparkSession.builder \
        .master("local[2]") \
        .appName("第一个sparksql案例") \
        .config("spark.sql.warehouse.dir", 'hdfs://shucang:9820/user/hive/warehouse') \
        .config('hive.metastore.uris', 'thrift://shucang:9083') \
        .config("spark.sql.shuffle.partitions", 2) \
        .enableHiveSupport() \
        .getOrCreate()

    # 此时spark已经知道hive有什么数据库 ,该数据库中有什么表了,但是没有use
    spark.sql("select * from yhdb01.sql2_1").createOrReplaceTempView("sql2_1")
    hiveDf = spark.sql("select * from sql2_1")
    
    # 写入hive的数据库中
    # 需要有库吗 ------需要 需要有这个表吗 ------ 不需要 但是记得判空 hive中没有空类型
    hiveDf.write.saveAsTable("yhdb01.sql22_1",mode="overwrite")

    spark.stop()

mysql

复制代码
# 不需要事先将表创建好

import os

from pyspark.sql import SparkSession

"""
------------------------------------------
  Description : TODO:
  SourceFile : 02、spark
  Author  : null
  Date  : 2024/11/6
-------------------------------------------
"""

if __name__ == '__main__':
    # 配置环境
    os.environ['JAVA_HOME'] = 'E:/java-configuration/jdk-8'
    # 配置Hadoop的路径,就是前面解压的那个路径
    os.environ['HADOOP_HOME'] = 'E:/applications/bigdata_config/hadoop-3.3.1/hadoop-3.3.1'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/Users/35741/miniconda3/python.exe'

    spark = SparkSession.builder \
        .master("local[2]") \
        .appName("第一个sparksql案例") \
        .config("spark.sql.shuffle.partitions", 2) \
        .getOrCreate()
    df = spark.read.json("../../data/sql/person.json")
    df.createOrReplaceTempView("person")
    
    # 获取一个dataFrame
    dfMysql = spark.sql("""
    select * from person
    """)
    
    # 第一种方式:format
    dfMysql.write.format("jdbc") \
    .option("driver", "com.mysql.cj.jdbc.Driver") \
    .option("url", "jdbc:mysql://localhost:3306/mydb01?characterEncoding=UTF-8") \
    .option("user", "root") \
    .option("password", "root") \
    .option("dbtable", "person") \
    .save(mode="overwrite")
    # append
    
    
    
    # 第二种方式:jdbc
    dictUsername = {"user": "root", "password": "root"}
    dfMysql.write.jdbc(url="jdbc:mysql://localhost:3306/mydb01?characterEncoding=UTF-8",table="person",properties=dictUsername,mode="append")


    spark.stop()
相关推荐
djjjx.7 小时前
Mysql数据库基础篇(八):详细讲解复合查询、多表查询、自连接、多行、多列子查询与合并查询
数据库·mysql
Wellijohn8 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
2601_9679801110 小时前
python pytest怎样测试代码
python·pytest·测试·文档·断言
伞伞悦读10 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
ch62311 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
摇滚侠11 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger12 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
Thanks_ks12 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
大大大大晴天12 小时前
每天认识一个组件:VictoriaLogs
大数据
专注仿真12 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练