Spark SQL将Hive表中的数据写入到MySQL数据库中

Scala 复制代码
import org.apache.spark.sql.SparkSession

object HiveToMySQL {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("HiveToMySQL")
      .enableHiveSupport()
      .getOrCreate()

    // 读取Hive表数据
    val hiveDF = spark.table("hive_table_name")

    // 写入MySQL表
    hiveDF.write
      .format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/database_name")
      .option("dbtable", "mysql_table_name")
      .option("user", "mysql_username")
      .option("password", "mysql_password")
      .save()
    
    // 关闭SparkSession
    spark.stop()
  }
}
  • "hive_table_name":Hive表的名称。
  • "jdbc:mysql://localhost:3306/database_name":MySQL数据库的连接URL,包括主机名、端口号和数据库名称。
  • "mysql_table_name":要写入的MySQL表的名称。
  • "mysql_username":MySQL数据库的用户名。
  • "mysql_password":MySQL数据库的密码。

确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。

相关推荐
道一云黑板报1 分钟前
Spark SQL:用SQL玩转大数据
大数据·sql·spark
卓伊凡30 分钟前
MongoDB 从3.4.0升级到4.0.0完整指南实战-优雅草蜻蜓I即时通讯水银版成功升级-卓伊凡|bigniu
数据库·后端
whn19771 小时前
美化一下达梦grant授权说明
数据库
heeheeai2 小时前
kotlin kmp 跨平台环境使用sqldelight
数据库·kotlin·kmp·start·sqldelight
小宁爱Python2 小时前
MySql的两种安装方式
数据库·mysql
程序员JerrySUN3 小时前
GPU 基础矩阵精规组织教程:从基础作用到实战应用
数据库·系统架构·gpu算力
不辉放弃3 小时前
Spark SQL 的 SQL 模式和 DSL模式
数据库·pyspark·大数据开发
随心............3 小时前
Spark内核调度
大数据·分布式·spark
飞翔的佩奇6 小时前
基于SpringBoot+MyBatis+MySQL+VUE实现的房屋交易平台管理系统(附源码+数据库+毕业论文+部署教程+配套软件)
数据库·spring boot·mysql·vue·毕业设计·mybatis·房屋交易平台
wb18912 小时前
服务器的Mysql 集群技术
linux·运维·服务器·数据库·笔记·mysql·云计算