Spark SQL数据源 - 基本操作

Spark SQL 提供了丰富的API来与各种数据源进行交互,包括Parquet、JSON、CSV、JDBC等。以下是一些使用Spark SQL与数据源进行基本操作的基本步骤和示例代码。

1. 初始化SparkSession

首先,你需要初始化一个SparkSession对象,这是Spark SQL的入口点。

scala 复制代码
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark SQL Basic Operations")
  .master("local[*]") // 在本地运行,使用所有可用的核心
  .getOrCreate()

// 导入隐式转换,以便可以直接使用DataFrame的API
import spark.implicits._

2. 读取数据源

读取Parquet文件
scala 复制代码
val parquetDF = spark.read.parquet("path/to/your/people.parquet")
parquetDF.show()
parquetDF.printSchema()
读取JSON文件
scala 复制代码
val jsonDF = spark.read.json("path/to/your/people.json")
jsonDF.show()
jsonDF.printSchema()
读取CSV文件
scala 复制代码
val csvDF = spark.read
  .option("header", "true") // 如果CSV文件包含标题行
  .option("inferSchema", "true") // 自动推断列的数据类型
  .csv("path/to/your/people.csv")
csvDF.show()
csvDF.printSchema()

3. 处理DataFrame

选择列
scala 复制代码
val selectedDF = parquetDF.select("name", "age")
selectedDF.show()
过滤数据
scala 复制代码
val filteredDF = parquetDF.filter($"age" > 20)
filteredDF.show()
分组并聚合
scala 复制代码
val groupedDF = parquetDF.groupBy("age").count()
groupedDF.show()
排序数据
scala 复制代码
val sortedDF = parquetDF.orderBy($"age".asc)
sortedDF.show()
连接DataFrame

假设你有两个DataFrame,df1df2,它们都有一个共同的列id,你可以使用join函数将它们连接起来。

scala 复制代码
val joinedDF = df1.join(df2, df1("id") === df2("id"))
joinedDF.show()

4. 将DataFrame写入数据源

写入Parquet文件
scala 复制代码
parquetDF.write.parquet("path/to/output/people.parquet")
写入CSV文件
scala 复制代码
parquetDF.write
  .option("header", "true")
  .csv("path/to/output/people.csv")
写入JSON文件

虽然Spark不直接支持将DataFrame写入单个JSON文件,但你可以将数据写入到一个JSON文件夹中,每个分区的数据会写入到一个单独的JSON文件中。

scala 复制代码
parquetDF.write.json("path/to/output/people.json")

5. 停止SparkSession

完成所有操作后,确保停止SparkSession以释放资源。

scala 复制代码
spark.stop()

这些示例展示了Spark SQL与数据源进行交互的基本操作。你可以根据自己的需求进一步扩展这些示例,使用更复杂的查询和转换来处理数据。

相关推荐
计算机毕设定制辅导-无忧学长1 小时前
TDengine 权限管理与安全配置实战(二)
大数据·安全·tdengine
2401_897930061 小时前
Kibana 连接 Elasticsearch(8.11.3)教程
大数据·elasticsearch·jenkins
计算机毕设定制辅导-无忧学长1 小时前
TDengine 快速上手:安装部署与基础 SQL 实践(一)
大数据·sql·tdengine
塔能物联运维2 小时前
塔能科技:精准节能,擎动工厂可持续发展巨轮
大数据·运维
今天我又学废了2 小时前
Spark,HDFS概述
大数据·hdfs·spark
青云交3 小时前
Java 大视界 -- 基于 Java 的大数据机器学习模型在图像识别中的迁移学习与模型优化(173)
大数据·迁移学习·图像识别·模型优化·deeplearning4j·机器学习模型·java 大数据
北随琛烬入4 小时前
Spark(10)配置Hadoop集群-集群配置
java·hadoop·spark
Yan-英杰4 小时前
DeepSeek-R1模型现已登录亚马逊云科技
java·大数据·人工智能·科技·机器学习·云计算·deepseek
黄雪超4 小时前
Flink介绍——实时计算核心论文之Storm论文总结
大数据·论文阅读·storm
TDengine (老段)4 小时前
TDengine 中的日志系统
java·大数据·数据库·物联网·时序数据库·tdengine·iotdb