Spark:数据的加载和保存

一、数据的加载和保存

1.1 通用的加载和保存方式

SparkSql提供了通用的保存数据和数据加载的方式,这里的通用指的是使用相同的API,根据不同的参数读取和保存不同格式的数据,SparkSql默认读取和保存的文件格式为parquet

读取数据:

保存数据:

读取json文件:

scala 复制代码
spark.read.format("json").load("data/user.json")

或者:

scala 复制代码
spark.read.json("data/user.json")

保存为json文件:

scala 复制代码
df.write.format("json").save("output1")

我们前面都是使用read API先把文件加载到DataFrame然后再查询,其实,我们也可以直接在文件上进行查询:

复制代码
文件格式.`文件路径`

例:

加载数据:

保存数据:

保存操作可以使用SaveMode用来指明如何处理数据,使用mode方法来设置,有一点很重要,这些SaveMode都是没有加锁的,也不是原子操作,SaveMode是一个枚举类,其中的常量包括:

Scala/Java Any Language Meaning
SaveMode.ErrorIfExists(default) "error"(default) 如果文件已经存在则抛出异常
SaveMode.Append "append" 如果文件已经存在则追加
SaveMode.Overwrite "overwrite" 如果文件已经存在则覆盖
SaveMode.Ignore "ignore" 如果文件已经存在则忽略

Parquet

SparkSql的默认数据源为Parquet格式,Parquet是一种能够有效存储嵌套数据的列式存储格式

数据源为Parquet文件时,SparkSql可以方便的执行所有的操作,不需要使用format,要想修改默认数据源格式,可以通过修改如下配置项:

复制代码
spark.sql.sources.defautl

Json

SparkSql能够自动推测Json数据集的结构,并将它加载为一个DataSet[Row],可以通过SparkSession.read.json()去加载Json文件

注意:Spark读取的Json文件不是传统的Json文件,每一行都应该是一个Json串

Csv

SparkSql可以配置csv文件的列表信息,读取csv文件,csv文件的第一行设置为数据列

scala 复制代码
spark.read.format("csv").option("sep",";").option("inferSchema","true").option("header","true").load("data/user.csv")

Mysql

SparkSql可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中,如果使用spark-shell操作,可在启动shell时指定相关的数据库驱动路径或者将数据库驱动放到spark的类路径下

scala 复制代码
 val df: DataFrame = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://master:3306/test")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "j1")
      .load()


    df.write
      .format("jdbc")
      .option("url", "jdbc:mysql://master:3306/test")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "j11")
      .save
相关推荐
一叶飘零_sweeeet36 分钟前
从手写 Redis 分布式锁到精通 Redisson:分布式系统的并发控制终极指南
redis·分布式·redisson
深空数字孪生1 小时前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
百胜软件@百胜软件2 小时前
胜券POS:打造智能移动终端,让零售智慧运营触手可及
大数据
摩羯座-185690305943 小时前
Python数据可视化基础:使用Matplotlib绘制图表
大数据·python·信息可视化·matplotlib
在未来等你3 小时前
Kafka面试精讲 Day 13:故障检测与自动恢复
大数据·分布式·面试·kafka·消息队列
jiedaodezhuti3 小时前
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案
大数据·flink
庄小焱3 小时前
大数据存储域——Kafka实战经验总结
大数据·kafka·大数据存储域
cui_win4 小时前
基于Golang + vue3 开发的 kafka 多集群管理
分布式·kafka
iiYcyk4 小时前
kafka特性和原理
分布式·kafka
zskj_qcxjqr5 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人