Spark SQL数据源 - 基本操作

Spark SQL 提供了丰富的API来与各种数据源进行交互,包括Parquet、JSON、CSV、JDBC等。以下是一些使用Spark SQL与数据源进行基本操作的基本步骤和示例代码。

1. 初始化SparkSession

首先,你需要初始化一个SparkSession对象,这是Spark SQL的入口点。

scala 复制代码
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark SQL Basic Operations")
  .master("local[*]") // 在本地运行,使用所有可用的核心
  .getOrCreate()

// 导入隐式转换,以便可以直接使用DataFrame的API
import spark.implicits._

2. 读取数据源

读取Parquet文件
scala 复制代码
val parquetDF = spark.read.parquet("path/to/your/people.parquet")
parquetDF.show()
parquetDF.printSchema()
读取JSON文件
scala 复制代码
val jsonDF = spark.read.json("path/to/your/people.json")
jsonDF.show()
jsonDF.printSchema()
读取CSV文件
scala 复制代码
val csvDF = spark.read
  .option("header", "true") // 如果CSV文件包含标题行
  .option("inferSchema", "true") // 自动推断列的数据类型
  .csv("path/to/your/people.csv")
csvDF.show()
csvDF.printSchema()

3. 处理DataFrame

选择列
scala 复制代码
val selectedDF = parquetDF.select("name", "age")
selectedDF.show()
过滤数据
scala 复制代码
val filteredDF = parquetDF.filter($"age" > 20)
filteredDF.show()
分组并聚合
scala 复制代码
val groupedDF = parquetDF.groupBy("age").count()
groupedDF.show()
排序数据
scala 复制代码
val sortedDF = parquetDF.orderBy($"age".asc)
sortedDF.show()
连接DataFrame

假设你有两个DataFrame,df1和df2,它们都有一个共同的列id,你可以使用join函数将它们连接起来。

scala 复制代码
val joinedDF = df1.join(df2, df1("id") === df2("id"))
joinedDF.show()

4. 将DataFrame写入数据源

写入Parquet文件
scala 复制代码
parquetDF.write.parquet("path/to/output/people.parquet")
写入CSV文件
scala 复制代码
parquetDF.write
  .option("header", "true")
  .csv("path/to/output/people.csv")
写入JSON文件

虽然Spark不直接支持将DataFrame写入单个JSON文件,但你可以将数据写入到一个JSON文件夹中,每个分区的数据会写入到一个单独的JSON文件中。

scala 复制代码
parquetDF.write.json("path/to/output/people.json")

5. 停止SparkSession

完成所有操作后,确保停止SparkSession以释放资源。

scala 复制代码
spark.stop()

这些示例展示了Spark SQL与数据源进行交互的基本操作。你可以根据自己的需求进一步扩展这些示例,使用更复杂的查询和转换来处理数据。

相关推荐
Decay__4 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
武昌库里写JAVA4 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
大大大大晴天5 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
ZhengEnCi9 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
数字新视界10 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天10 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城12 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55512 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证12 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
FungLeo12 小时前
FengCMS · PHP+MySQL 升级实录·模型导入从“加密 SQL 码“到.fengmodel.json
sql·mysql·php·工程实践·fengcms