UDF小白入门

UDF小白入门

在PySpark中,使用UDF涉及有三个步骤:
前置:先创建一个spark dataframe

python 复制代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

spark = SparkSession.builder \
   .master("spark://localhost:7077") \
   .appName("pyspark sql demo") \
   .getOrCreate()

# 创建学生成绩DataFrame
studentDF = spark.createDataFrame(
    [
      ("张三", 85),
      ("李四", 90),
      ("王老五", 55)
    ],["name","score"]
)

studentDF.printSchema()
studentDF.show()

(1) 第一步是用Python语法创建一个函数并进行测试。

创建一个函数(普通的Python函数)将成绩转换到考察等级

python 复制代码
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(2) 第二步是通过将函数名传递给PySpark SQL的udf()函数来注册它。

python 复制代码
#注册为一个UDF(在DataFrame API中使用时的注册方法)
convertGradeUDF = udf(convertGrade,StringType())

# 或者通过装饰器注册
@udf(StringType())
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(3) 第三步是在DataFrame代码或发出SQL查询时使用UDF。在SQL查询中使用UDF时,注册过程略有不同。

python 复制代码
# 使用该UDF将成绩转换为字母等级
studentDF \
  .withColumn("grade",convertGradeUDF(col("score"))) \
  .show()
'''
相关推荐
zhensherlock36 分钟前
Protocol Launcher 系列:CodeHub 移动端 GitHub 协作利器
前端·javascript·typescript·node.js·自动化·github·js
承渊政道2 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
大胖爱学习_MJ2 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python
tryCbest2 小时前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python
无小道3 小时前
Python语句的特色
python·语句
多加点辣也没关系3 小时前
JavaScript|第40章:JavaScript 工程化实践
开发语言·javascript·ecmascript
2601_967980114 小时前
python pytest如何编写测试
python·测试用例·pytest·函数·assert
2601_967980115 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
大胖爱学习_MJ5 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
RobinDevNotes5 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具