Spark中给读取到的数据 的列 重命名的几种方式!

目录

一、第一种 (withColumnRenamed)

二、第二种(toDF)

[三、第三种( toDF(*tuple1) )](#三、第三种( toDF(*tuple1) ))

[四、 第四种(schema)](#四、 第四种(schema))

五、假如文件里自带有列名的情况(option)


一、第一种 (withColumnRenamed)

假设要把如下a.csv的数据读取出来并分析:

(注意:csv会自动按照","给切分开 可以指定 option(sep,"\t")自定义切分符)

复制代码
1,yuwen,43
1,shuxue,55
2,yuwen,77
2,shuxue,88
3,yuwen,98
3,shuxue,65
3,yingyu,88

withColumnRenamed("默认列名","自定义列名")

python 复制代码
    # 获取sparkSession对象
    spark = SparkSession.builder.master("local[2]").appName("第一种方法").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()
    # 给文件的每一列命名
   df=spark.read.csv("***文件位置****").withColumnRenamed("_c0","id").withColumnRenamed("_c1","subject").withColumnRenamed("_c2","score")
   df.createOrReplaceTempView("scores")
   df.show(truncate=False)

查询结果:

二、第二种(toDF)

toDF("列名","列名","列名")

python 复制代码
# 获取sparkSession对象
spark = SparkSession.builder.master("local[2]").appName("第一种方法").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()
# 给文件的每一列命名 
df2=spark.read.csv("***文件位置****").toDF("id","subject","score")
df2.show()

查询结果:

三、第三种( toDF(*tuple1) )

toDF(*元组)

python 复制代码
# 获取sparkSession对象
spark = SparkSession.builder.master("local[2]").appName("第一种方法").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()
# 给文件的每一列命名 
tuple1=("id","subject","score")
df3=spark.read.csv("***文件位置***").toDF(*tuple1)
df3.show()

查询结果:

四、 第四种(schema)

自定义表结构schema

python 复制代码
# 获取sparkSession对象
spark = SparkSession.builder.master("local[2]").appName("第一种方法").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()
# 给文件的每一列命名 
score_schema=StructType([
       StructField("id",IntegerType(),True),
       StructField("name",StringType(),True),
       StructField("score",DoubleType(),True),
 ])
df4=spark.read.csv('***文件位置***',schema=score_schema)
df4.show()

查询结果:

五、假如文件里自带有列名的情况(option)

如果文件里是如下数据:

复制代码
id,username,math,computer,english
1,huangbo,34,58,58
2,xuzheng,45,87,45
3,wangbaoqiang,76,34,89

可以直接让第一行成为列明,使用option即可:

python 复制代码
# 获取sparkSession对象
spark = SparkSession.builder.master("local[2]").appName("第一种方法").config(
        "spark.sql.shuffle.partitions", 2).getOrCreate()
# 给文件添加表头
df4=spark.read.format("csv").option("header", "true").load("../../datas/zuoye/1104/03.txt")
df4.show(truncate=False)
相关推荐
BD_Marathon42 分钟前
Spark:背压机制
大数据·分布式·spark
_waylau42 分钟前
Spark 新作《循序渐进 Spark 大数据应用开发》简介
大数据·分布式·spark·应用开发
青云游子2 小时前
pySpark乱码
spark
遥遥晚风点点2 小时前
spark 设置hive.exec.max.dynamic.partition不生效
大数据·hive·spark
Java资深爱好者7 小时前
数据湖与数据仓库的区别
大数据·数据仓库·spark
一个处女座的程序猿1 天前
LLMs之Code:Github Spark的简介、安装和使用方法、案例应用之详细攻略
大数据·spark·github
阿里云大数据AI技术1 天前
Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
大数据·架构·spark·apache
天冬忘忧1 天前
Spark 共享变量:广播变量与累加器解析
大数据·python·spark
天冬忘忧2 天前
Spark 中的 RDD 分区的设定规则与高阶函数、Lambda 表达式详解
大数据·分布式·spark
天冬忘忧2 天前
PySpark 数据处理实战:从基础操作到案例分析
大数据·python·spark