pyspark连接mysql数据库报错

使用pyspark连接mysql数据库代码如下

python 复制代码
spark_conf = SparkConf().setAppName("MyApp").setMaster("local")

spark = SparkSession.builder.config(conf=spark_conf).getOrCreate()

url = "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
table_name = "tab_tf"
properties = {
    "user": "root",
    "password": "root"
}

# 读取 MySQL 数据库中的数据
df = spark.read.jdbc(url=url, table=table_name, properties=properties)
# 展示数据
df.show()

执行时报错了,错误信息如下:

py4j.protocol.Py4JJavaError: An error occurred while calling o32.jdbc.

: java.sql.SQLException: No suitable driver

at java.sql.DriverManager.getDriver(DriverManager.java:315)

at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOptions.scala:105)

at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOptions.scala:105)

at scala.Option.getOrElse(Option.scala:121)

at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:104)

at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:35)

at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:32)

at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:332)

at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:242)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:230)

at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:186)

at org.apache.spark.sql.DataFrameReader.jdbc(DataFrameReader.scala:257)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:498)

at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)

at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)

at py4j.Gateway.invoke(Gateway.java:282)

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)

at py4j.commands.CallCommand.execute(CallCommand.java:79)

at py4j.GatewayConnection.run(GatewayConnection.java:238)

at java.lang.Thread.run(Thread.java:748)

经查询,是因为spark中缺少连接MySQL的驱动程序,于是乎下载了与自己mysql数据库版本一致的jar包,下载地址:https://downloads.mysql.com/archives/c-j/

查询mysql版本命令:mysql -V

下载完成后,解压,将mysql-connector-java-8.0.30.jar拷贝到spark安装目录的libs中

重新执行程序,问题解决,执行结果如下:

参考:py4j.protocol.Py4JJavaError: An error occurred while calling o32.jdbc.-CSDN博客

相关推荐
得物技术17 小时前
破解gh-ost变更导致MySQL表膨胀之谜|得物技术
数据库·后端·mysql
Java水解18 小时前
【MySQL】从零开始学习MySQL:基础与安装指南
后端·mysql
数据智能老司机20 小时前
精通 Python 设计模式——分布式系统模式
python·设计模式·架构
数据智能老司机21 小时前
精通 Python 设计模式——并发与异步模式
python·设计模式·编程语言
数据智能老司机21 小时前
精通 Python 设计模式——测试模式
python·设计模式·架构
数据智能老司机21 小时前
精通 Python 设计模式——性能模式
python·设计模式·架构
c8i1 天前
drf初步梳理
python·django
每日AI新事件1 天前
python的异步函数
python
沢田纲吉1 天前
🗄️ MySQL 表操作全面指南
数据库·后端·mysql
这里有鱼汤1 天前
miniQMT下载历史行情数据太慢怎么办?一招提速10倍!
前端·python