数据挖掘篇【 alias方法 和 隐式转换 】

目录

介绍

隐式转换

alias方法

---

介绍

在 Apache Spark 中，.alias 是一个方法，用于给 DataFrame 的列或表达式指定一个新的别名。当你需要对列进行重命名或者在 SQL 表达式中使用更易读的名称时，这个方法非常有用。

.alias 方法通常与 DataFrame 的列（使用 $ 符号或 col 函数引用）或表达式一起使用，以便在后续的查询或操作中引用它们。

隐式转换

上面提到的 " $ " 其实就是隐式转换所以我们先提一点隐式转换

在 Apache Spark 中，

import spark.implicits._

语句是 Scala 编程语言中用于导入隐式转换和类的常用方式。当你在 Spark 中使用 Scala API 编写代码时，这行代码是非常关键的，因为它提供了很多方便的隐式转换和函数，让编写 Spark 代码变得更加简洁和直观。

具体来说，import spark.implicits._ 导入了以下内容：

1. 隐式转换 ：这包括将本地 Scala 集合（如 Seq, Map 等）转换为 Spark 的分布式数据集（如 RDD, DataFrame, Dataset 等）的隐式方法。例如，你可以直接将一个 Seq 转换为 Dataset 而不必显式调用 toDF 或其他转换方法。

2. 类型别名 ：这包括为 Spark 中常用的类型定义的类型别名，如 sql.Encoders.STRING、sql.Encoders.INT 等。

3. SparkSession 的功能 ：它使得你可以在 SparkSession 上调用一些隐式方法，比如 createDataset 或 createDataFrame。

例子

import org.apache.spark.sql.SparkSession  
  
object SimpleApp {  
  def main(args: Array[String]): Unit = {  
    val spark = SparkSession.builder()  
      .appName("Simple Application")  
      .getOrCreate()  
  
    import spark.implicits._ // 导入隐式转换和类  
  
    // 使用隐式转换将本地集合转换为 DataFrame  
    val data = Seq(("John", 30), ("Jane", 25))  
    val df = data.toDF("Name", "Age")  
  
    // 显示 DataFrame 的内容  
    df.show()  
  
    spark.stop()  
  }  
}

在这个例子中，import spark.implicits._ 使得我们可以直接使用 toDF 方法将 Seq 转换为 DataFrame，而不需要显式地调用其他方法或函数。

请注意，spark.implicits._ 中的内容是针对当前创建的 SparkSession 实例的。如果你创建了多个 SparkSession 实例，每个实例都会有自己的隐式转换和类，因此你需要确保你导入了正确的 SparkSession 实例的隐式转换。通常，你会在创建 SparkSession 之后立即导入这些隐式转换。

alias方法

示例：

import org.apache.spark.sql.SparkSession  
  
object AliasExample {  
  def main(args: Array[String]): Unit = {  
    val spark = SparkSession.builder()  
      .appName("Alias Example")  
      .getOrCreate()  
  
    import spark.implicits._  
  
    // 创建一个简单的DataFrame  
    val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))  
    val df = data.toDF("Name", "Age")  
  
    // 使用as关键字给Age列起别名  
    val dfWithAlias = df.select($"Name", $"Age".as("PersonAge"))  
  
    // 显示结果  
    dfWithAlias.show()  
  
    spark.stop()  
  }  
}

在这个例子中，我们创建了一个包含"Name"和"Age"两列的DataFrame，然后使用select方法和as关键字将"Age"列重命名为"PersonAge"。