Spark SQL将Hive表中的数据写入到MySQL数据库中

Scala 复制代码
import org.apache.spark.sql.SparkSession

object HiveToMySQL {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("HiveToMySQL")
      .enableHiveSupport()
      .getOrCreate()

    // 读取Hive表数据
    val hiveDF = spark.table("hive_table_name")

    // 写入MySQL表
    hiveDF.write
      .format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/database_name")
      .option("dbtable", "mysql_table_name")
      .option("user", "mysql_username")
      .option("password", "mysql_password")
      .save()
    
    // 关闭SparkSession
    spark.stop()
  }
}
  • "hive_table_name":Hive表的名称。
  • "jdbc:mysql://localhost:3306/database_name":MySQL数据库的连接URL,包括主机名、端口号和数据库名称。
  • "mysql_table_name":要写入的MySQL表的名称。
  • "mysql_username":MySQL数据库的用户名。
  • "mysql_password":MySQL数据库的密码。

确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。

相关推荐
梦想画家3 小时前
SQLMesh Python 模型入门(二):依赖管理、引擎实战与内存优化
数据库·python·sqlmesh
Omics Pro3 小时前
经典多组学整合算法→商用云平台
数据库·人工智能·算法·机器学习·自然语言处理
xcLeigh3 小时前
【KingbaseES数据库教程】国产化信创背景下的数据库选型与初识
linux·数据库·windows·kes·数据选型
资深技术分享员4 小时前
Geejing WebBuilder 数据库连接配置与在线 SQL 工具,运维的左右手
运维·数据库·sql·低代码
ao-weilai5 小时前
MySQL数据库:表操作
数据库·mysql·adb
宵时待雨5 小时前
MySQL数据库1:数据库基础
服务器·数据库·mysql
做运维的阿瑞5 小时前
一个 NULL 让整列姓名消失?MySQL 字符串与日期函数复盘
数据库·sql·mysql
程序猿乐锅5 小时前
【黑马点评 | 第十一篇】关注 Feed 流实现
java·数据库·redis·分布式·后端·缓存·maven
phltxy5 小时前
C 语言文件操作:让数据从内存走向持久化
c语言·网络·数据库
阳光九叶草LXGZXJ6 小时前
达梦数据库-学习-69-DM9主备集群部署
linux·运维·服务器·数据库·sql·学习