sparksession对象简介

什么是sparksession对象

spark2.0之后,sparksession对象是spark编码的统一入口对象,通常我们在rdd编程时,需要SparkContext对象作为RDD编程入口,但sparksession对象既可以作为RDD编程对象入口,在sparkcore编程中可以通过它来获取sparkcontext对象进行rdd编程,也可以直接作为sparksql编程入口对象

sparksession对象构建案例

go 复制代码
# coding:utf8
# sparksql中入口对象是SparkSession对象
from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 构建sparksession对象,构建器模式
    spark = SparkSession.builder.\
        appName("mysparkTest").\
        master("local[*]").\
        config("spark.sql.shuffle.partitions", "4").\
        getOrCreate()
    # appName设置程序名称
    # local: 表示 Spark 将在本地模式下运行,即不会连接到任何集群管理器(如 YARN、Mesos 或 Kubernetes)。这通常用于开发和测试目的。
    # [*]: 这是一个特殊的语法,它告诉 Spark 使用所有可用的处理器核心来执行。星号 (*) 是一个占位符,它会被替换为当前机器上的处理器核心数。

    # config设置一些常用属性,不想设置可以不用写
    # getOrCreate创建sparksession对象

    # 通过SparkSession来获取SparkContext对象
    sc = spark.SparkContext
    # 读取csv格式文件,返回DataFrame格式的数据
    df = spark.read.csv("my_csv_file.csv", sep=',', header = False)
    # 给df加上表头,并赋值给新的df2
    df2 = df.toDF("id", "name", "age")
    # 打印df2表结构
    df2.printSchema()
    # 展示df2
    df2.show()
    # 创建临时视图,用于sql操作
    df2.createTempView("score")
    # SQL风格操作
    spark.sql("SELECT * FROM score where age=11 limit 5").show()
    # DSL风格
    df2.where("age=11").limit(5).show()
    
相关推荐
liupenglove8 小时前
自动驾驶数据仓库:时间片合并算法。
大数据·数据仓库·算法·elasticsearch·自动驾驶
全能搬运大师11 小时前
win10安装Elasticsearch
大数据·elasticsearch·搜索引擎
Guheyunyi11 小时前
电气安全监测系统:筑牢电气安全防线
大数据·运维·网络·人工智能·安全·架构
BigData共享11 小时前
StarRocks fragment的执行流程
大数据
阿里云大数据AI技术12 小时前
阿里云 EMR Serverless Spark: 面向 Data+AI 的高性能 Lakehouse 产品
大数据·人工智能·数据分析
杨小扩12 小时前
AI驱动的软件工程(中):文档驱动的编码与执行
大数据·人工智能·软件工程
技术+ywxs578713 小时前
如何提高微信小店推客系统的推广效果?
大数据·微信开放平台·微信小店·推客系统·系统搭建
杨超越luckly14 小时前
HTML应用指南:利用GET请求获取全国永辉超市门店位置信息
大数据·信息可视化·数据分析·html·argis·门店
拓端研究室16 小时前
专题:2025机器人产业深度洞察报告|附136份报告PDF与数据下载
大数据·人工智能·物联网
阿里云大数据AI技术18 小时前
NL2SQL 再创佳绩!阿里云论文中选 SIGMOD 2025
大数据·人工智能·云计算