Spark:数据的加载和保存

一、数据的加载和保存

1.1 通用的加载和保存方式

SparkSql提供了通用的保存数据和数据加载的方式,这里的通用指的是使用相同的API,根据不同的参数读取和保存不同格式的数据,SparkSql默认读取和保存的文件格式为parquet

读取数据:

保存数据:

读取json文件:

scala 复制代码
spark.read.format("json").load("data/user.json")

或者:

scala 复制代码
spark.read.json("data/user.json")

保存为json文件:

scala 复制代码
df.write.format("json").save("output1")

我们前面都是使用read API先把文件加载到DataFrame然后再查询,其实,我们也可以直接在文件上进行查询:

复制代码
文件格式.`文件路径`

例:

加载数据:

保存数据:

保存操作可以使用SaveMode用来指明如何处理数据,使用mode方法来设置,有一点很重要,这些SaveMode都是没有加锁的,也不是原子操作,SaveMode是一个枚举类,其中的常量包括:

Scala/Java Any Language Meaning
SaveMode.ErrorIfExists(default) "error"(default) 如果文件已经存在则抛出异常
SaveMode.Append "append" 如果文件已经存在则追加
SaveMode.Overwrite "overwrite" 如果文件已经存在则覆盖
SaveMode.Ignore "ignore" 如果文件已经存在则忽略

Parquet

SparkSql的默认数据源为Parquet格式,Parquet是一种能够有效存储嵌套数据的列式存储格式

数据源为Parquet文件时,SparkSql可以方便的执行所有的操作,不需要使用format,要想修改默认数据源格式,可以通过修改如下配置项:

复制代码
spark.sql.sources.defautl

Json

SparkSql能够自动推测Json数据集的结构,并将它加载为一个DataSet[Row],可以通过SparkSession.read.json()去加载Json文件

注意:Spark读取的Json文件不是传统的Json文件,每一行都应该是一个Json串

Csv

SparkSql可以配置csv文件的列表信息,读取csv文件,csv文件的第一行设置为数据列

scala 复制代码
spark.read.format("csv").option("sep",";").option("inferSchema","true").option("header","true").load("data/user.csv")

Mysql

SparkSql可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中,如果使用spark-shell操作,可在启动shell时指定相关的数据库驱动路径或者将数据库驱动放到spark的类路径下

scala 复制代码
 val df: DataFrame = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://master:3306/test")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "j1")
      .load()


    df.write
      .format("jdbc")
      .option("url", "jdbc:mysql://master:3306/test")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("user", "root")
      .option("password", "123456")
      .option("dbtable", "j11")
      .save
相关推荐
Lx3522 分钟前
Hadoop与实时计算集成:Lambda架构实践经验
大数据·hadoop
武子康3 小时前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g3 小时前
COW、MOR、MOW
大数据·数据库·后端
武子康19 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术19 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心1 天前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx3521 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g1 天前
Flink KeySelector
大数据·后端·flink