UDF小白入门

UDF小白入门

在PySpark中,使用UDF涉及有三个步骤:
前置:先创建一个spark dataframe

python 复制代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

spark = SparkSession.builder \
   .master("spark://localhost:7077") \
   .appName("pyspark sql demo") \
   .getOrCreate()

# 创建学生成绩DataFrame
studentDF = spark.createDataFrame(
    [
      ("张三", 85),
      ("李四", 90),
      ("王老五", 55)
    ],["name","score"]
)

studentDF.printSchema()
studentDF.show()

(1) 第一步是用Python语法创建一个函数并进行测试。

创建一个函数(普通的Python函数)将成绩转换到考察等级

python 复制代码
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(2) 第二步是通过将函数名传递给PySpark SQL的udf()函数来注册它。

python 复制代码
#注册为一个UDF(在DataFrame API中使用时的注册方法)
convertGradeUDF = udf(convertGrade,StringType())

# 或者通过装饰器注册
@udf(StringType())
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(3) 第三步是在DataFrame代码或发出SQL查询时使用UDF。在SQL查询中使用UDF时,注册过程略有不同。

python 复制代码
# 使用该UDF将成绩转换为字母等级
studentDF \
  .withColumn("grade",convertGradeUDF(col("score"))) \
  .show()
'''
相关推荐
数字融合7 分钟前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
屿华AI1 小时前
AUTOSAR 实战-诊断工具 | DTC/Event/FiM 故障报告自动化:DEM 诊断数据采集与解析
python·测试工具·自动化·汽车
贝壳6901 小时前
9.13.12 那三个新功能,我一个一个跑了一遍:两个真香,一个有前提
python
2601_967980111 小时前
Python 与云计算:AWS、GCP、Azure 实践
python·云计算·azure·aws·gcp
屿华AI1 小时前
AUTOSAR 实战-诊断工具 | 基于 Python 与 USB-CANFD 的 UDS 诊断测试工具设计与实现
开发语言·python·测试工具
贝壳6901 小时前
三家 AI 把我的实测数据判成造假,我在同一台机器上重跑了五组
python
FungLeo2 小时前
成为全栈·Vue 管理后台篇·Biome、类型检查、构建和API 代理如何组成质量门禁
前端·javascript·vue.js·typescript·vite·前端工程化·biome
用户019027581612 小时前
Telegram Bot 股票到价提醒:AlphaFeed 轮询 + sendMessage
python
程序员大阳2 小时前
副队长ES6+教程(10)--迭代器 Iterator 与 for...of
javascript·es6·遍历·for of
夕水2 小时前
受不了满屏广告的诗词网站,以及很多打不开的诗词网站,我干脆自己租服务器用trae重构了一个(纯公益、无广告)
前端·javascript