本节实战围绕 Spark SQL 的默认数据源格式 展开,核心是理解当未显式指定 .format() 时,Spark 如何默认使用 Parquet。首先介绍了 spark.sql.sources.default 配置项及其在 spark-defaults.conf 中的设置方法。随后通过一系列命令演示了完整的端到端流程:从查看和上传已有的 users.parquet 示例文件到 HDFS,到在 Spark Shell 中使用 spark.read.load()(无 .format())成功读取该 Parquet 文件并展示其 Schema 和内容,再到使用 df.write.save()(无 .format())将其以 Parquet 格式写出。课堂练习部分则引导用户将文本文件 student.txt 通过 Scala 代码手动处理成 DataFrame 并保存为 student.parquet,再读取验证,最后还在 IntelliJ IDEA 中创建了一个完整的 Maven + Scala 项目,通过编程方式读取 Parquet 文件、执行 SQL 过滤并保存结果,全面展示了 Parquet 作为默认格式的读写实践。

