Spark将execl表格文件导入到mysql中

实现代码

excel所需的pom依赖

案例实现


实现代码

Scala 复制代码
package excel_mysql

import org.apache.spark.sql.SparkSession
import java.util.Properties

object t1 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("ExcelToMySQL") //项目名
      .master("local[*]")
      .getOrCreate()

    // 读取Excel表
    val df = spark.read
      .format("com.crealytics.spark.excel") //需要的包
      .option("header", "true")
      .load("file:///D:\\sparks\\src\\main\\datas\\d.xlsx") //本地excel文件路径

    // 创建MySQL连接配置
    val jdbcHostname = "192.168.10.137" //连接主机ip
    val jdbcPort = 3306 //端口
    val jdbcDatabase = "test" //数据库名
    val jdbcUsername = "root" //用户名
    val jdbcPassword = "123456" //mysql密码
    val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"
    val connectionProperties = new Properties()
    connectionProperties.put("user", s"${jdbcUsername}")
    connectionProperties.put("password", s"${jdbcPassword}")

    // 将DataFrame写入MySQL表中
    df.write
      .mode("overwrite")
      .jdbc(jdbcUrl, "user_info", connectionProperties) //导入目标的mysql数据库下的表名
    spark.stop()
  }
}

excel所需的pom依赖

Scala 复制代码
        <dependency>
            <groupId>com.crealytics</groupId>
            <artifactId>spark-excel_2.12</artifactId>
            <version>0.13.7</version>
        </dependency>

案例实现

准备的excel表:

放在路径下面:

执行代码:

在mysql中查看:

相关推荐
-雷阵雨-几秒前
MySQL——数据库约束
数据库·mysql
大筒木老辈子1 分钟前
MySQL笔记---C/C++访问MySQL数据库
数据库·笔记·mysql
友友马5 分钟前
『 数据库 』MySQL复习(表的约束)
数据库·mysql
奥尔特星云大使22 分钟前
MySQL分布式架构:MyCat详解
数据库·分布式·mysql·mycat·高可用
SelectDB技术团队24 分钟前
Apache Doris 内部数据裁剪与过滤机制的实现原理 | Deep Dive
大数据·数据库·apache·数据库系统·数据裁剪
像风一样!41 分钟前
学习MySQL数据库的高级特性(上)
数据库·mysql
WLJT1231231231 小时前
科技赋能塞上农业:宁夏从黄土地到绿硅谷的蝶变
大数据·人工智能·科技
Wx-bishekaifayuan2 小时前
基于微信小程序的社区图书共享平台设计与实现 计算机毕业设计源码44991
javascript·vue.js·windows·mysql·pycharm·tomcat·php
哎呀呦呵3 小时前
python内置模块-re模块介绍使用
java·python·mysql