在Spark SQL中,fillna函数

目录

前言

[以下是在Spark SQL中使用fillna函数的示例代码:](#以下是在Spark SQL中使用fillna函数的示例代码:)

运行以上代码将输出:

总结


前言


在Spark SQL中,fillna函数用于填充DataFrame或Dataset中的缺失值(NULL或NaN)。它可以根据指定的列名和值来替换缺失值,以便进行数据清洗和预处理。

以下是在Spark SQL中使用fillna函数的示例代码:

python 复制代码
# 导入必要的库
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [("Alice", 25, None), ("Bob", None, 180.0), ("Charlie", 35, 175.2)]
df = spark.createDataFrame(data, ["name", "age", "height"])

# 使用fillna函数填充缺失值
filled_df = df.fillna({"age": 0, "height": 0.0})

# 显示填充后的DataFrame
filled_df.show()

运行以上代码将输出:


python 复制代码
+-------+---+------+
|   name|age|height|
+-------+---+------+
|  Alice| 25|   0.0|
|    Bob|  0| 180.0|
|Charlie| 35| 175.2|
+-------+---+------+

总结


在上述示例中,首先创建了一个包含姓名、年龄和身高的DataFrame,并且其中包含了一些缺失值(用None表示)。然后,使用fillna函数将缺失值替换为指定的值。在本例中,我们将年龄的缺失值替换为0,将身高的缺失值替换为0.0。填充后得到的DataFrame存储在filled_df变量中。最后,使用show方法显示填充后的DataFrame。

需要注意的是,fillna函数的参数是一个字典,其中键表示要填充的列名,值表示要填充的值。您可以根据实际需求指定不同的列和填充值。

通过使用fillna函数,您可以对DataFrame或Dataset中的缺失值进行处理,以便进行后续的数据分析和建模操作。

相关推荐
wudl55663 小时前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
华东数交3 小时前
企业与国有数据资产:入表全流程管理及资产化闭环理论解析
大数据·人工智能
B站_计算机毕业设计之家8 小时前
计算机毕业设计:Python农业数据可视化分析系统 气象数据 农业生产 粮食数据 播种数据 爬虫 Django框架 天气数据 降水量(源码+文档)✅
大数据·爬虫·python·机器学习·信息可视化·课程设计·农业
满昕欢喜8 小时前
SQL Server从入门到项目实践(超值版)读书笔记 28
数据库·sql·sqlserver
Apache Flink10 小时前
Flink Agents 0.1.0 发布公告
大数据·flink
潘达斯奈基~11 小时前
在使用spark的applyInPandas方法过程中,遇到类型冲突问题如何解决
大数据·笔记
火星资讯13 小时前
腾多多数字零售模式:从成本转嫁到全生态共赢的破局实践
大数据
望获linux13 小时前
【实时Linux实战系列】实时 Linux 的自动化基准测试框架
java·大数据·linux·运维·网络·elasticsearch·搜索引擎
金宗汉14 小时前
《宇宙递归拓扑学:基于自指性与拓扑流形的无限逼近模型》
大数据·人工智能·笔记·算法·观察者模式
直有两条腿14 小时前
【数据迁移】HBase Bulkload批量加载原理
大数据·数据库·hbase