Spark,连接MySQL数据库,添加数据,读取数据

以下是使用Spark连接MySQL数据库、添加数据和读取数据的步骤(基于Scala API):

  1. 准备工作
  • 添加MySQL驱动依赖

在Spark项目中引入MySQL Connector JAR包(如 mysql-connector-java-8.0.33.jar ),或通过Spark提交命令指定:

bash

spark-submit --jars mysql-connector-java-8.0.33.jar your_app.jar

  • 确保MySQL服务运行

确认数据库、表存在,且Spark所在节点可访问MySQL端口(默认3306)。

  1. 读取MySQL数据

scala

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()

.appName("Spark MySQL Example")

.master("local[*]") // 或集群地址

.getOrCreate()

// 读取参数配置

val jdbcUrl = "jdbc:mysql://localhost:3306/test_db?useSSL=false&useUnicode=true&characterEncoding=utf8"

val table = "users" // 表名

val user = "root"

val password = "your_password"

// 读取数据为DataFrame

val df = spark.read.format("jdbc")

.option("url", jdbcUrl)

.option("dbtable", table)

.option("user", user)

.option("password", password)

.load()

// 显示数据

df.show()

  1. 写入数据到MySQL

scala

// 假设已有待写入的DataFrame(如dfToSave)

val writeMode = "append" // 写入模式:append(追加)、overwrite(覆盖)、ignore(忽略重复)、errorIfExists(冲突报错)

dfToSave.write.format("jdbc")

.option("url", jdbcUrl)

.option("dbtable", "new_users") // 目标表名

.option("user", user)

.option("password", password)

.option("driver", "com.mysql.cj.jdbc.Driver") // 驱动类(可选,Spark会自动推断)

.mode(writeMode)

.save()

关键参数说明

  • jdbcUrl :MySQL连接URL,需指定数据库名和字符编码(避免中文乱码)。

  • dbtable :支持直接写表名,或子查询(如 "(SELECT * FROM users WHERE age > 18) AS subquery" )。

  • writeMode :控制写入行为,根据需求选择模式。

注意事项

  1. 驱动版本匹配:确保MySQL驱动版本与数据库版本兼容(如MySQL 8.0+对应 mysql-connector-java 8.0+ )。

  2. 分区并行读取:若数据量大,可添加 partitionColumn 、 lowerBound 、 upperBound 参数并行读取:

scala

.option("partitionColumn", "id") // 分区字段(需为数字类型)

.option("lowerBound", "1") // 分区最小值

.option("upperBound", "1000") // 分区最大值

.option("numPartitions", "4") // 分区数(并行度)

  1. 事务支持:MySQL JDBC写入不保证事务原子性,大规模写入建议使用批量操作或外部工具(如Sqoop)。

通过以上代码,可实现Spark与MySQL的数据交互。

相关推荐
Hello.Reader4 小时前
Redis 延迟监控深度指南
数据库·redis·缓存
ybq195133454314 小时前
Redis-主从复制-分布式系统
java·数据库·redis
好奇的菜鸟7 小时前
如何在IntelliJ IDEA中设置数据库连接全局共享
java·数据库·intellij-idea
tan180°7 小时前
MySQL表的操作(3)
linux·数据库·c++·vscode·后端·mysql
满昕欢喜8 小时前
SQL Server从入门到项目实践(超值版)读书笔记 20
数据库·sql·sqlserver
Hello.Reader9 小时前
Redis 延迟排查与优化全攻略
数据库·redis·缓存
简佐义的博客10 小时前
破解非模式物种GO/KEGG注释难题
开发语言·数据库·后端·oracle·golang
爬山算法10 小时前
MySQL(116)如何监控负载均衡状态?
数据库·mysql·负载均衡
老纪的技术唠嗑局13 小时前
OceanBase PoC 经验总结(二)—— AP 业务
数据库
涤生大数据13 小时前
Apache Spark 4.0:将大数据分析提升到新的水平
数据分析·spark·apache·数据开发