【抽取数据简单方式】spark实现hive中数据抽取到MySQL

目录

一、hdfs抽取到MySQL

二、hive的table表抽取到MySQL


抽取hive的数据到MySQL(将hive中的表导入到MySQL中)有两种方式:

  1. 直接从hdfs上抽取,因为hive的数据储存在hdfs上。
  2. 从hive的table表中直接抽取也可以!

一、hdfs抽取到MySQL

使用csv读数据hdfs的数据,jdbc取数据:

关键代码:

python 复制代码
# 获取sparkSession对象
    spark = SparkSession.builder.master("local[2]").appName("").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()

# 读取hive数据(本质是读取hdfs)
    df=spark.read.csv('hdfs://bigdata01:9820/user/hive/warehouse/yunhe01.db/t_user').toDF('id','name')
# 写入本地mysql中
df.write.format('jdbc') \
    .option("driver", "com.mysql.cj.jdbc.Driver") \
    .option("url", "jdbc:mysql://localhost:3306/zuoye") \
    .option("dbtable", "t_user") \
    .option("user", "root") \
    .option("password", "123456") \
    .save(mode='overwrite')

完整代码:

python 复制代码
import os

from pyspark.sql import SparkSession

"""
------------------------------------------
  Description : TODO:
  SourceFile : _14-hive读取到mysql
  Author  : song
  Date  : 2024/11/6
-------------------------------------------
"""
if __name__ == '__main__':
    # 配置环境
    os.environ['JAVA_HOME'] = 'C:/Program Files/Java/jdk1.8.0_201'
    # 配置Hadoop的路径,就是前面解压的那个路径
    os.environ['HADOOP_HOME'] = 'D:/B/05-Hadoop/hadoop-3.3.1/hadoop-3.3.1'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'  # 配置base环境Python解析器的路径
    os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'
    os.environ['HADOOP_USER_NAME'] = 'root'
    # 获取sparkSession对象
    spark = SparkSession.builder.master("local[2]").appName("").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()

    # 读取hive数据(本质是读取hdfs)
    df=spark.read.csv('hdfs://bigdata01:9820/user/hive/warehouse/yunhe01.db/t_user').toDF('id','name')
    # 写入本地mysql中
    df.write.format('jdbc') \
        .option("driver", "com.mysql.cj.jdbc.Driver") \
        .option("url", "jdbc:mysql://localhost:3306/zuoye") \
        .option("dbtable", "t_user") \
        .option("user", "root") \
        .option("password", "123456") \
        .save(mode='overwrite')
    
    spark.stop()

二、hive的table表抽取到MySQL

使用table(也就是hive数据库)读数据,jdbc取数据:

关键代码:

python 复制代码
# 获取sparkSession对象
    spark = SparkSession \
        .builder \
        .appName("Hive表导入到MySQL") \
        .master("local[2]") \
        .config("spark.sql.warehouse.dir", 'hdfs://bigdata01:9820/user/hive/warehouse') \
        .config('hive.metastore.uris', 'thrift://bigdata01:9083') \
        .config("spark.sql.shuffle.partitions", 2) \
        .enableHiveSupport() \
        .getOrCreate()
    # 读取hive表中数据
    df=spark.read.table("yunhe01.t_user")
    # 写入本地mysql中
    df.write.format('jdbc') \
        .option("driver", "com.mysql.cj.jdbc.Driver") \
        .option("url", "jdbc:mysql://localhost:3306/zuoye") \
        .option("dbtable", "t_user1") \
        .option("user", "root") \
        .option("password", "123456") \
        .save(mode='overwrite')

完整代码:

python 复制代码
import os

from pyspark.sql import SparkSession

"""
------------------------------------------
  Description : TODO:
  SourceFile : _14-hive读取到mysql
  Author  : song
  Date  : 2024/11/6
-------------------------------------------
"""
if __name__ == '__main__':
    # 配置环境
    os.environ['JAVA_HOME'] = 'C:/Program Files/Java/jdk1.8.0_201'
    # 配置Hadoop的路径,就是前面解压的那个路径
    os.environ['HADOOP_HOME'] = 'D:/B/05-Hadoop/hadoop-3.3.1/hadoop-3.3.1'
    # 配置base环境Python解析器的路径
    os.environ['PYSPARK_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'  # 配置base环境Python解析器的路径
    os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'
    os.environ['HADOOP_USER_NAME'] = 'root'

    # 获取sparkSession对象
    spark = SparkSession \
        .builder \
        .appName("Hive表导入到MySQL") \
        .master("local[2]") \
        .config("spark.sql.warehouse.dir", 'hdfs://bigdata01:9820/user/hive/warehouse') \
        .config('hive.metastore.uris', 'thrift://bigdata01:9083') \
        .config("spark.sql.shuffle.partitions", 2) \
        .enableHiveSupport() \
        .getOrCreate()
    # 读取hive表中数据
    df=spark.read.table("yunhe01.t_user")
    # 写入本地mysql中
    df.write.format('jdbc') \
        .option("driver", "com.mysql.cj.jdbc.Driver") \
        .option("url", "jdbc:mysql://localhost:3306/zuoye") \
        .option("dbtable", "t_user1") \
        .option("user", "root") \
        .option("password", "123456") \
        .save(mode='overwrite')
    spark.stop()

总结:sqoop、datax、kettle都可以实现数据的导入导出,但发现使用spark是最简单的方式并且导入导出的速度也很快!

相关推荐
道一云黑板报3 小时前
Spark生态全景图:图计算与边缘计算的创新实践
大数据·性能优化·spark·边缘计算
Lansonli3 小时前
大数据Spark(六十三):RDD-Resilient Distributed Dataset
大数据·分布式·spark
感哥3 小时前
MySQL索引
mysql
liangshanli3 小时前
MCP MySQL Server v2.0.1 发布:智能 DDL 日志记录,让数据库变更可追溯
mysql
BYSJMG3 小时前
计算机毕业设计选题:基于Spark+Hadoop的健康饮食营养数据分析系统【源码+文档+调试】
大数据·vue.js·hadoop·分布式·spark·django·课程设计
武子康4 小时前
大数据-92 Spark 深入解析 Spark Standalone 模式:组件构成、提交流程与性能优化
大数据·后端·spark
像豆芽一样优秀5 小时前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
福赖6 小时前
《MySQL基础——C 语言链接》
c语言·数据库·mysql
程序新视界6 小时前
如何为MySQL中的JSON字段设置索引
数据库·mysql
计算机毕业设计木哥7 小时前
计算机毕业设计 基于Python+Django的医疗数据分析系统
开发语言·hadoop·后端·python·spark·django·课程设计