sparksql

4.2.2 Spark SQL 默认数据源在本实战概述中，我们探讨了如何在 Spark SQL 中使用 Parquet 格式作为默认数据源。首先，我们了解了 Parquet 文件的存储特性，包括其二进制存储方式和内嵌的 Schema 信息。接着，通过一系列命令，我们演示了如何在 HDFS 上上传、读取和保存 Parquet 文件。此外，我们还通过 Spark Shell 和 IntelliJ IDEA 进行了实践操作，包括创建 Maven 项目、添加依赖、配置环境和编写 Scala 程序来读取和处理 Parquet 文件。最后，我们通过运行程序验

SparkSQL全之RDD、DF、DS ,UDF、架构、资源划分、sql执行计划、调优......以相同的方式连接到任何数据源可以把DataFrame这样去理解：RDD+schema元信息dataFrame相比于rdd来说，多了对数据的描述信息（schema元信息）

SparkSQL数据模型综合实践创建net.huawei.practice包在practice子包里创建DataModel对象loadData()方法的需求说明：其主要功能是加载指定路径的文件并生成 DataFrame。方法接受一个字符串类型的参数 filePath，表示文件的路径。执行流程包括使用 spark.read.json(filePath) 方法读取 JSON 文件并创建 DataFrame，然后将生成的 DataFrame 返回给调用者。此方法简化了从文件加载数据到 DataFrame 的过程，提高了数据处理的效率和便捷性。

SparkSQL 对 SQL 查询的优化静态优化和动态优化两大部分介绍SparkSQL 对 SQL 查询的优化主要分为静态优化和动态优化两大部分，其中静态优化主要在查询编译时进行，而动态优化则是在查询执行过程中进行。SparkSQL 的优化包括了多种技术，例如 RBO（基于规则的优化）、CBO（基于成本的优化），以及 AQE（Adaptive Query Execution，适应性查询执行）。这些优化方法和技术可以显著提高查询的性能。

Spark中给读取到的数据的列重命名的几种方式！目录一、第一种 (withColumnRenamed)二、第二种（toDF）三、第三种（ toDF(*tuple1) ）

一个散步者的梦

HIVE及SparkSQL优化经验针对高耗跑批时间长的作业，在公司近3个月做过一个优化专项；优化成效：综合cpu、内存、跑批耗时减少均在65%以上；

莫待花无空折枝

经典sql问题：1）、每个用户连续登录最大天数2）、连续登录大于三天的用户数分析：本质都是计算用户连续登录天数方案一：利用排序窗口

SparkSQL学习03-数据读取与存储SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不用格式的数据。SparkSQL默认读取和保存的文件格式为parquet，parquet是一种能够有效存储嵌套数据的列式存储格式。

SparkSQL基础解析（三）Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和 DataSet，并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！