databricks spark基本使用方法和讲解

databricks spark基本使用方法

文章目录

spark dataframe和pandas dataframe区别

概念

Spark 的 DataFrame 和 pandas 的 DataFrame 在概念上相似,都是用来处理表格数据的,但它们在设计、实现和使用场景上有显著的差异:

Spark DataFrame

1.分布式计算

2.数据存储在集群的多个节点上

3.懒执行(lazy execution)(如调用 .show() 或 .collect() 时)才实际执行。

pandas DataFrame :

1.单机内存中的数据处理

2.操作(如添加列、过滤等)会立即在 DataFrame 上执行并返回结果。

小例子:感受下语法差异!

为了展现差异,下面同样的意思,让两者分别code,感受下语法的差异

spark dataframe

(一般在databricks上面不用建立session,环境已经帮你配置好了)

python 复制代码
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()
df = spark.read.csv("data.csv")
df.na.fill(value=0)  # 填充数字型缺失值为0
df.na.drop()         # 删除任何包含缺失值的行

from pyspark.sql.functions import to_date
df.withColumn('new_date', to_date(df['date'], 'yyyy-MM-dd'))

from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType
def square(x):
    return x * x
square_udf = udf(square, IntegerType())
df.withColumn('squared', square_udf(df['number']))

pandas dataframe

python 复制代码
import pandas as pd
df = pd.read_csv("data.csv")
df.fillna(value=0)   # 填充数字型缺失值为0
df.dropna()          # 删除任何包含缺失值的行
df['new_date'] = pd.to_datetime(df['date'], format='%Y-%m-%d')
df['squared'] = df['number'].apply(lambda x: x * x)

基本使用

生成序列数据

python 复制代码
df1 = spark.range(2, 10, 2)
df2 = spark.range(2, 10, 4)

生成的数据的index名字叫做"id",这里的df1为

2,4,6,8

df2的数据为

2,6

因此将两者join的话

python 复制代码
df3 = df1.join(df2, ["id"])

df3的结果为2,6

显示数据

python 复制代码
df1.show(10)

不指定的话,默认会展示20条数据

查看rdd的分区数和作用

python 复制代码
df3.rdd.getNumPartitions()

作用:

  1. 并行度评估:RDD的分区数决定了Spark作业的并行度。每个分区通常由一个核心(core)处理,如果分区数太少,可能无法充分利用集群的所有资源;如果分区数过多,则可能因为调度和管理开销而降低性能。

  2. 性能优化 :了解当前的分区数可以帮助你决定是否需要重新分区。通过调整分区数(使用repartition()或coalesce()方法),来优化作业的性能

对列进行操作

python 复制代码
from pyspark.sql.functions import spark_partition_id
df3.withColumn("partition_id", spark_partition_id()).show()

使用spark_partition_id函数可以帮助获得数据所在的分区的id。这里用withColumn之后返回了一个新的对象(rdd不可变,因此每次的操作实际上都会生成新的对象),并且调用show(),把这个对象使用掉了。如果希望是把分区id加上并且存下来,需要写:

python 复制代码
from pyspark.sql.functions import spark_partition_id
df3 = df3.withColumn("partition_id", spark_partition_id())

这里,withColumn实际上是DataFrame API的一部分,而不是直接操作RDD。当在DataFrame上使用withColumn方法时,是在定义一个转换操作,这个操作会在DataFrame的执行计划中被添加。虽然DataFrame是建立在RDD之上的,所有DataFrame的操作最终都会转换成对RDD的操作,但从用户的角度看,withColumn是一个更高级别的抽象,专门用于结构化数据的操作。使用DataFrame API可以使代码更易于理解和维护,并且可以利用Spark的优化引擎(如Catalyst优化器和Tungsten执行引擎)来提高性能。

对列的数据进行统计

python 复制代码
df2.withColumn("partition_id", spark_partition_id()              ).groupBy("partition_id").count().show()
相关推荐
数字新视界3 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术4 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康6 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI7 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk5559 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌11 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199011 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55511 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人12 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人12 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins