概念
Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。
Spark-SQL 特点：
1，易整合，无缝的整合了 SQL 查询和 Spark 编程。
2，统一的数据访问，使用相同的方式连接不同的数据源。
3，兼容 Hive，在已有的仓库上直接运行 SQL 或者 HQL。
4，标准数据连接，通过 JDBC 或者 ODBC 来连接。
结构
在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，类似于传统数据库中 的二维表格。
DataSet 是分布式数据集合。DataSet 是 Spark 1.6 中添加的一个新抽象，是 DataFrame 的一个扩展。它提供了 RDD 的优势（强类型，使用强大的 lambda 函数的能力）以及 Spark SQL 优化执行引擎的优点。DataSet 也可以使用功能性的转换（操作 map，flatMap，filter 等等）。
DataFrame
在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口，创建 DataFrame有三种方式：通过 Spark 的数据源进行创建；从一个存在的 RDD 进行转换；还可以从 Hive Table 进行查询返回。
SQL 语法
SQL 语法风格是指我们查询数据的时候使用 SQL 语句来查询，这种风格的查询必须要有临时视图或者全局视图来辅助。
DSL 语法
DataFrame 提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。 可以在 Scala, Java, Python 和 R 中使用 DSL，使用 DSL 语法风格不必去创建临时视图了。
注意:涉及到运算的时候, 每列都必须使用$, 或者采用引号表达式：单引号+字段名。
RDD 转换为 DataFrame
在 IDEA 中开发程序时，如果需要 RDD 与 DF 或者 DS 之间互相操作，那么需要引入 import spark.implicits._ 这里的 spark 不是 Scala 中的包名，而是创建的 sparkSession 对象的变量名称，所以必 须先创建 SparkSession 对象再导入。这里的 spark 对象不能使用 var 声明，因为 Scala 只支持 val 修饰的对象的引入。
spark-shell 中无需导入，自动完成此操作。
DataFrame 转换为 RDD
DataFrame 其实就是对 RDD 的封装，所以可以直接获取内部的 RDD。注意：此时得到的 RDD 存储类型为 Row。
DataSet
DataSet 是具有强类型的数据集合，需要提供对应的类型信息。
注意：在实际使用的时候，很少用到把序列转换成DataSet，更多的是通过RDD来得到DataSet。
RDD 转换为 DataSet
SparkSQL 能够自动将包含有 case 类的 RDD 转换成 DataSet，case 类定义了 table 的结 构，case 类属性通过反射变成了表的列名。Case 类可以包含诸如 Seq 或者 Array 等复杂的结构。
DataSet 转换为 RDD
DataSet 其实也是对 RDD 的封装，所以可以直接获取内部的 RDD。
DataFrame 和 DataSet 转换
DataFrame 其实是 DataSet 的特例，所以它们之间是可以互相转换的。
DataFrame 转换为 DataSet
DataSet 转换为 DataFrame
RDD、DataFrame、DataSet 三者的关系
在 SparkSQL 中 Spark 为我们提供了两个新的数据抽象，分别是 DataFrame 和 DataSet。他们 和 RDD 有什么区别呢？
首先从版本的产生上来看：
Spark1.0 => RDD
Spark1.3 => DataFrame
Spark1.6 => Dataset
如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。在后期的 Spark 版本中，DataSet 有可能会逐步取代 RDD和 DataFrame 成为唯一的 API 接口。
三者的共性
RDD、DataFrame、DataSet 全都是 spark 平台下的分布式弹性数据集，为处理超大型数
据提供便利。
三者都有惰性机制，在进行创建、转换，如 map 方法时，不会立即执行，只有在遇到Action 如 foreach 时，三者才会开始遍历运算;
三者有许多共同的函数，如 filter，排序等;
在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包:
import spark.implicits._（在创建好 SparkSession 对象后尽量直接导入）
三者都会根据 Spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出。
三者都有分区（partition）的概念。
DataFrame 和 DataSet 均可使用模式匹配获
三者的区别
1 RDD
RDD 一般和 spark mllib 同时使用
RDD 不支持 sparksql 操作
2 DataFrame
与 RDD 和 Dataset 不同，DataFrame 每一行的类型固定为Row，每一列的值没法直接访问，只有通过解析才能获取各个字段的值。
DataFrame 与 DataSet 一般不与 spark mllib 同时使用。
DataFrame 与 DataSet 均支持 SparkSQL 的操作，比如 select，groupby 之类，还能注册临时表/视窗，进行 sql 语句操作。
DataFrame 与 DataSet 支持一些特别方便的保存方式，比如保存成 csv，可以带上表头，这样每一列的字段名一目了然取各个字段的值和类型。
3 DataSet
Dataset 和 DataFrame 拥有完全相同的成员函数，区别只是每一行的数据类型不同。
DataFrame 其实就是 DataSet 的一个特例 type DataFrame = Dataset[Row]
DataFrame 也可以叫 Dataset[Row],每一行的类型是 Row，不解析，每一行究竟有哪些字段，各个字段又是什么类型都无从得知，只能用上面提到的 getAS 方法或者共性里提到的模式匹配拿出特定字段。而 Dataset 中，每一行是什么类型是不一定的，在自定义了 case class 之后可以很自由的获得每一行的信息。
三者可以通过上图的方式进行相互转换。