Spark,连接MySQL数据库,添加数据,读取数据

以下是使用 Spark/SparkSQL 连接 MySQL 数据库、添加数据和读取数据的完整示例(需提前准备 MySQL 驱动包):

一、环境准备

  1. 下载 MySQL 驱动
  • 下载 mysql-connector-java-8.0.33.jar (或对应版本),放入 Spark 的 jars 目录,或提交任务时用 --jars 指定路径。
  1. 启动 SparkSession

scala

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()

.appName("Spark MySQL Demo")

.master("local[*]") // 本地模式,集群环境需调整

.getOrCreate()

二、连接 MySQL 并读取数据

方式 1:使用 spark.read.jdbc 读取

scala

// 配置连接参数

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db"

val tableName = "users"

val connectionProperties = new java.util.Properties()

connectionProperties.put("user", "root")

connectionProperties.put("password", "your_password")

connectionProperties.put("driver", "com.mysql.cj.jdbc.Driver")

// 读取表数据

val df = spark.read.jdbc(jdbcUrl, tableName, connectionProperties)

// 显示数据

df.show()

方式 2:使用 SparkSQL 执行查询

scala

// 直接执行 SQL 查询(需指定完整表名)

val queryDF = spark.read.jdbc(

jdbcUrl,

s"(SELECT id, name FROM $tableName WHERE age > 18) AS temp", // 子查询防注入

connectionProperties

)

queryDF.show()

三、向 MySQL 插入数据

场景 1:写入新表(自动创建)

scala

// 创建示例数据

val data = Seq(

(3, "Alice", 25, java.sql.Timestamp.valueOf("2023-01-01 00:00:00")),

(4, "Bob", 30, java.sql.Timestamp.valueOf("2023-02-02 00:00:00"))

)

val schema = StructType(

Seq(

StructField("id", IntegerType, false),

StructField("name", StringType, true),

StructField("age", IntegerType, true),

StructField("create_time", TimestampType, true)

)

)

val insertDF = spark.createDataFrame(data, schema)

// 写入 MySQL(若表不存在则自动创建,需确保库存在)

insertDF.write.format("jdbc")

.option("url", jdbcUrl)

.option("dbtable", "users") // 表名

.option("user", "root")

.option("password", "your_password")

.option("driver", "com.mysql.cj.jdbc.Driver")

.mode("append") // 追加模式(可选:overwrite/ignore/replace)

.save()

场景 2:向现有表追加数据

scala

// 读取现有数据并新增记录

val existingDF = spark.read.jdbc(jdbcUrl, tableName, connectionProperties)

val newData = Seq((5, "Charlie", 35, java.sql.Timestamp.valueOf("2023-03-03 00:00:00")))

val newDF = spark.createDataFrame(newData, schema)

// 合并后写入(追加模式)

val combinedDF = existingDF.union(newDF)

combinedDF.write.jdbc(

jdbcUrl,

tableName,

connectionProperties,

"append" // 模式可通过第四个参数指定

)

四、关键参数说明

mode:

写入模式: append (追加)、 overwrite (覆盖)、 ignore (忽略冲突)

dbtable :

目标表名(支持库名.表名格式,如 test_db.users )

partitionColumn :

分区列(大数据量时用于并行读取,需配合 lowerBound / upperBound )

fetchSize :

每次从数据库拉取的行数(优化性能,默认 1000)

createTableOptions :

建表时的额外参数(如 ENGINE=InnoDB CHARSET=utf8 )

五、注意事项

  1. 驱动版本匹配
  • MySQL 8.0+ 需使用 mysql-connector-java-8.0+ ,低版本数据库用 5.1.x 驱动。
  1. 权限问题
  • 确保 MySQL 用户有 INSERT / SELECT 权限:

sql

GRANT INSERT, SELECT ON test_db.* TO 'user'@'localhost';

  1. 大数据量优化
  • 并行写入:通过 numPartitions 和 partitionColumn 分区(需指定主键或索引列)。

  • 批量提交:设置 batchSize=1000 减少连接开销:

scala

.option("batchSize", "1000")

  1. 类型映射
  • Spark 与 MySQL 类型需匹配(如 StringType → VARCHAR , TimestampType → DATETIME )。

六、完整示例(Scala 版)

scala

import org.apache.spark.sql.{SparkSession, Row}

import org.apache.spark.sql.types.{StructType, StructField, IntegerType, StringType, TimestampType}

import java.sql.Timestamp

// 1. 初始化 SparkSession

val spark = SparkSession.builder()

.appName("MySQL Demo")

.master("local[*]")

.getOrCreate()

// 2. 定义连接参数

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db"

val tableName = "users"

val props = new java.util.Properties()

props.setProperty("user", "root")

props.setProperty("password", "your_password")

props.setProperty("driver", "com.mysql.cj.jdbc.Driver")

// 3. 读取数据

val df = spark.read.jdbc(jdbcUrl, tableName, props)

println("读取的数据:")

df.show()

// 4. 准备插入数据

val newData = Seq(

Row(6, "David", 28, new Timestamp(System.currentTimeMillis()))

)

val schema = new StructType(

Array(

StructField("id", IntegerType, nullable = false),

StructField("name", StringType, nullable = true),

StructField("age", IntegerType, nullable = true),

StructField("create_time", TimestampType, nullable = true)

)

)

val insertDF = spark.createDataFrame(spark.sparkContext.parallelize(newData), schema)

// 5. 插入数据(追加模式)

insertDF.write.jdbc(jdbcUrl, tableName, "append", props)

println("数据插入完成!")

// 6. 验证插入结果

val updatedDF = spark.read.jdbc(jdbcUrl, tableName, props)

updatedDF.show()

// 7. 停止 SparkSession

spark.stop()

执行后可通过 MySQL 客户端验证数据是否正确写入。

相关推荐
典学长编程1 小时前
高效学习之一篇搞定分布式管理系统Git !
大数据·git·搜索引擎
YFJ_mily3 小时前
2025第二届机电一体化、机器人与控制系统国际会议(MRCS2025)即将来袭
大数据·人工智能·机器人·机电一体化
倔强的石头1064 小时前
Bright Data MCP+Trae :快速构建电商导购助手垂直智能体
大数据·人工智能
莫彩11 小时前
Mapreduce 工业界批式计算经验汇总(下)
大数据·mapreduce
爱吃面的猫15 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte16 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy679817 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
暗影八度19 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源19 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度19 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源