spark Mysql数据库配置

以下是 Spark 连接 MySQL 数据库的核心配置步骤(纯文本版):

  1. 准备 MySQL JDBC 驱动
  • 下载驱动:从 Maven 仓库 下载与 MySQL 服务端版本匹配的 mysql-connector-java-X.X.XX.jar (如 MySQL 8.0 对应 8.0.33 版本)。

  • 部署驱动:

  • 单机模式:将驱动包放入 Spark 的 jars 目录(路径: $SPARK_HOME/jars/ )。

  • 集群模式:提交任务时用 --jars 参数指定驱动路径,例如:

bash

spark-submit --jars /path/to/mysql-connector-java.jar your_app.jar

  1. 构建 SparkSession 并配置连接参数

以 Scala 为例,核心代码如下:

scala

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()

.appName("Spark MySQL Example")

.master("local[*]") // 或集群地址(如 yarn)

.getOrCreate()

// 连接参数(需替换为实际信息)

val jdbcUrl = "jdbc:mysql://host:port/database?useUnicode=true&characterEncoding=utf-8"

val table = "your_table"

val prop = new java.util.Properties()

prop.setProperty("user", "your_username")

prop.setProperty("password", "your_password")

prop.setProperty("driver", "com.mysql.cj.jdbc.Driver") // MySQL 8+ 驱动类名

  1. 读取 MySQL 数据

scala

// 读取表数据为 DataFrame

val df = spark.read.jdbc(jdbcUrl, table, prop)

df.show()

  1. 写入数据到 MySQL

scala

// 将 DataFrame 写入 MySQL 表(模式:overwrite/append/ignore/failIfExists)

df.write.jdbc(

url = jdbcUrl,

table = "target_table",

mode = "overwrite",

properties = prop

)

关键注意事项

  1. 驱动版本匹配:
  • MySQL 5.x 驱动类名为 com.mysql.jdbc.Driver ,8.x 及以上为 com.mysql.cj.jdbc.Driver 。

  • 若报 ClassNotFoundException ,检查驱动是否正确部署或版本是否匹配。

  1. 字符集配置:
  • 在 jdbcUrl 中添加 ?useUnicode=true&characterEncoding=utf-8 ,避免中文乱码。
  1. 集群环境权限:
  • 确保所有节点均能访问驱动包,或通过分布式文件系统(如 HDFS)分发驱动。

如需更详细示例(如 Python 版本或分区读取),可补充说明场景!

相关推荐
明天好,会的7 小时前
从Spark/Flink到WASM:流式处理框架的演进与未来展望
flink·spark·wasm
IvanCodes2 天前
三、Spark 运行环境部署:全面掌握四种核心模式
大数据·分布式·spark
喻师傅3 天前
SparkSQL 子查询 IN/NOT IN 对 NULL 值的处理
大数据·spark
星星妳睡了吗4 天前
Spark DataFrame与数据源交互
大数据·分布式·spark
神仙别闹4 天前
基于Spark图计算的社会网络分析系统
大数据·分布式·spark
IvanCodes4 天前
二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战
大数据·spark·scala
涤生大数据4 天前
从8h到40min的极致并行优化:Spark小数据集UDTF处理的深度实践与原理剖析
大数据·分布式·spark·涤生大数据
qq_463944865 天前
【Spark征服之路-3.7-Spark-SQL核心编程(六)】
sql·ajax·spark
青云交6 天前
Java 大视界 -- 基于 Java 的大数据分布式计算在地球物理勘探数据处理与地质结构建模中的应用(356)
java·大数据·spark·地质建模·分布式计算·地球物理勘探·地震数据处理
qq_463944866 天前
【Spark征服之路-3.6-Spark-SQL核心编程(五)】
sql·ajax·spark