Spark SQL数据源 - 基本操作

Spark SQL 提供了丰富的API来与各种数据源进行交互,包括Parquet、JSON、CSV、JDBC等。以下是一些使用Spark SQL与数据源进行基本操作的基本步骤和示例代码。

1. 初始化SparkSession

首先,你需要初始化一个SparkSession对象,这是Spark SQL的入口点。

scala 复制代码
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark SQL Basic Operations")
  .master("local[*]") // 在本地运行,使用所有可用的核心
  .getOrCreate()

// 导入隐式转换,以便可以直接使用DataFrame的API
import spark.implicits._

2. 读取数据源

读取Parquet文件
scala 复制代码
val parquetDF = spark.read.parquet("path/to/your/people.parquet")
parquetDF.show()
parquetDF.printSchema()
读取JSON文件
scala 复制代码
val jsonDF = spark.read.json("path/to/your/people.json")
jsonDF.show()
jsonDF.printSchema()
读取CSV文件
scala 复制代码
val csvDF = spark.read
  .option("header", "true") // 如果CSV文件包含标题行
  .option("inferSchema", "true") // 自动推断列的数据类型
  .csv("path/to/your/people.csv")
csvDF.show()
csvDF.printSchema()

3. 处理DataFrame

选择列
scala 复制代码
val selectedDF = parquetDF.select("name", "age")
selectedDF.show()
过滤数据
scala 复制代码
val filteredDF = parquetDF.filter($"age" > 20)
filteredDF.show()
分组并聚合
scala 复制代码
val groupedDF = parquetDF.groupBy("age").count()
groupedDF.show()
排序数据
scala 复制代码
val sortedDF = parquetDF.orderBy($"age".asc)
sortedDF.show()
连接DataFrame

假设你有两个DataFrame,df1df2,它们都有一个共同的列id,你可以使用join函数将它们连接起来。

scala 复制代码
val joinedDF = df1.join(df2, df1("id") === df2("id"))
joinedDF.show()

4. 将DataFrame写入数据源

写入Parquet文件
scala 复制代码
parquetDF.write.parquet("path/to/output/people.parquet")
写入CSV文件
scala 复制代码
parquetDF.write
  .option("header", "true")
  .csv("path/to/output/people.csv")
写入JSON文件

虽然Spark不直接支持将DataFrame写入单个JSON文件,但你可以将数据写入到一个JSON文件夹中,每个分区的数据会写入到一个单独的JSON文件中。

scala 复制代码
parquetDF.write.json("path/to/output/people.json")

5. 停止SparkSession

完成所有操作后,确保停止SparkSession以释放资源。

scala 复制代码
spark.stop()

这些示例展示了Spark SQL与数据源进行交互的基本操作。你可以根据自己的需求进一步扩展这些示例,使用更复杂的查询和转换来处理数据。

相关推荐
啊喜拔牙4 分钟前
如何搭建spark yarn模式的集群
大数据·分布式·spark
春风不会绿大地1 小时前
Flink+Hologres搭建实时数仓
大数据·flink
董可伦2 小时前
Flink HA 总结
大数据·flink
yuhuhuh3 小时前
如何在idea中写spark程序
ajax·spark·intellij-idea
不爱学英文的码字机器4 小时前
数字孪生的浪潮:从虚拟镜像到现实世界的 IT 变革
大数据·python
kaamelai4 小时前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
anqi274 小时前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
互联科技报4 小时前
孙宇晨将出席迪拜Token2049 与特朗普次子共话加密未来
大数据
科技小E5 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频
刘翔在线犯法5 小时前
如何搭建spark yarn模式的集合集群
大数据·分布式·spark