UDF小白入门

UDF小白入门

在PySpark中,使用UDF涉及有三个步骤:
前置:先创建一个spark dataframe

python 复制代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

spark = SparkSession.builder \
   .master("spark://localhost:7077") \
   .appName("pyspark sql demo") \
   .getOrCreate()

# 创建学生成绩DataFrame
studentDF = spark.createDataFrame(
    [
      ("张三", 85),
      ("李四", 90),
      ("王老五", 55)
    ],["name","score"]
)

studentDF.printSchema()
studentDF.show()

(1) 第一步是用Python语法创建一个函数并进行测试。

创建一个函数(普通的Python函数)将成绩转换到考察等级

python 复制代码
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(2) 第二步是通过将函数名传递给PySpark SQL的udf()函数来注册它。

python 复制代码
#注册为一个UDF(在DataFrame API中使用时的注册方法)
convertGradeUDF = udf(convertGrade,StringType())

# 或者通过装饰器注册
@udf(StringType())
def convertGrade(score):
    if score > 100:
        return "作弊"
    elif score >= 90:
        return "优秀"
    elif score >= 80:
        return "良好"
    elif score >= 70:
        return "中等"
    else:
        return "不及格"

(3) 第三步是在DataFrame代码或发出SQL查询时使用UDF。在SQL查询中使用UDF时,注册过程略有不同。

python 复制代码
# 使用该UDF将成绩转换为字母等级
studentDF \
  .withColumn("grade",convertGradeUDF(col("score"))) \
  .show()
'''
相关推荐
翼帆1 小时前
我用 AI 复刻了 CodeTank,重温代码坦克
前端·javascript·开源·ai编程·游戏开发·codetank
用户019027581612 小时前
AlphaFeed 查不到代码返回空?非法/缺后缀 symbol 的行为与处理
python
isfox2 小时前
Python 单元测试:别再用 print 调试了,写个测试一劳永逸
python
用户298698530142 小时前
在 Python 中把 Word 文档转换为 JSON 的三种实现方式
python·json·api
用户0332126663673 小时前
使用 Python 删除 Excel 中的空白行或空白列
python·excel
黑土豆3 小时前
用 drawink 给业务页面加一层画板:从网页批注到无限板书
前端·javascript·github
databook3 小时前
时间序列特征,哪些当时就能算出来
python·数据分析
kevin_org3 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
特立独行的猫A12 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio14 小时前
Python与Go线程模型深度对比
java·开发语言·python