Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库

在 Spark 中,可以使用 Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库。以下是一个完整的示例,展示如何实现这一过程。

环境准备

  1. 安装 MySQL:确保 MySQL 数据库已安装并运行。

  2. 创建 MySQL 数据库和表 :

    sql 复制代码
    CREATE DATABASE sparkdb;
    USE sparkdb;
    
    CREATE TABLE users (
        id INT AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(50),
        age INT,
        country VARCHAR(50)
    );
  3. 下载 MySQL JDBC 驱动 :

    • 从 MySQL 官方网站 下载 MySQL JDBC 驱动(mysql-connector-java-x.x.xx.jar)。
    • 将下载的 JAR 文件放置在 Spark 的 jars 目录下(例如 spark-3.3.0/jars/)。

示例代码

以下是一个完整的 Scala 示例代码,展示如何读取 CSV 文件并将其写入 MySQL 数据库:

scala 复制代码
import org.apache.spark.sql.{SparkSession, DataFrame}

object CsvToMySQL {
  def main(args: Array[String]): Unit = {
    // 初始化 SparkSession
    val spark = SparkSession.builder
      .appName("CsvToMySQL")
      .master("local[*]")
      .getOrCreate()

    // 读取 CSV 文件
    val csvFilePath = "path/to/users.csv" // 替换为你的 CSV 文件路径
    val df: DataFrame = spark.read
      .option("header", "true") // 第一行是表头
      .option("inferSchema", "true") // 自动推断数据类型
      .csv(csvFilePath)

    // 查看读取的数据
    df.show()

    // 配置 MySQL 数据库连接信息
    val jdbcUrl = "jdbc:mysql://localhost:3306/sparkdb"
    val jdbcUser = "root" // 替换为你的 MySQL 用户名
    val jdbcPassword = "password" // 替换为你的 MySQL 密码
    val jdbcTable = "users"

    // 将数据写入 MySQL 数据库
    df.write
      .format("jdbc")
      .option("url", jdbcUrl)
      .option("dbtable", jdbcTable)
      .option("user", jdbcUser)
      .option("password", jdbcPassword)
      .mode("append") // 如果表已存在,追加数据
      .save()

    // 停止 SparkSession
    spark.stop()
  }
}

示例 CSV 文件

假设你的 CSV 文件 users.csv 内容如下:

csv 复制代码
name,age,country
Alice,25,China
Bob,30,USA
Charlie,35,Japan
David,40,Germany

运行步骤

  1. 保存代码 :将上述代码保存为 CsvToMySQL.scala 文件。
  2. 编译和运行 :
    • 使用 SBT 或 Maven 构建项目。
    • 在 IntelliJ IDEA 中运行程序。
  3. 验证结果 :
    • 登录到 MySQL 数据库,检查 sparkdb 数据库中的 users 表,确保数据已正确插入。

注意事项

  1. CSV 文件路径 :确保 csvFilePath 指向正确的 CSV 文件路径。
  2. MySQL 用户名和密码:替换为你的实际 MySQL 用户名和密码。
  3. JDBC 驱动 :确保 MySQL JDBC 驱动已正确放置在 Spark 的 jars 目录下。
  4. 数据模式 :在写入数据库时,mode("append") 表示追加数据。如果需要覆盖表,可以使用 mode("overwrite")。
  5. 性能优化 :对于大规模数据写入,可以考虑使用批量插入(batchsize)等优化选项。

通过以上步骤,你可以使用 Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库。

相关推荐
隔窗听雨眠4 小时前
SQL执行计划固化的原理与稳定性工程
数据库·sql优化·执行计划
TDengine (老段)7 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
索西引擎7 小时前
MySQL 进阶:视图、存储过程、存储函数与触发器
数据库·mysql
bksczm8 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿8 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女9 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
Eyfcom9 小时前
〖物流 SaaS 实战 02〗SaaS 租户的计费与订阅模型:从“一锤子买卖”到“按需订阅”
linux·服务器·数据库·快递系统·物流saas实战
打工的小王10 小时前
postgresql和mysql对比
数据库·mysql·postgresql
数据库急诊室_阿哲11 小时前
一次割接后的性能复核记录:基线、样本、回滚点
运维·数据库·dba
保利威视频SaaS小张12 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv