sparksession对象简介

什么是sparksession对象

spark2.0之后,sparksession对象是spark编码的统一入口对象,通常我们在rdd编程时,需要SparkContext对象作为RDD编程入口,但sparksession对象既可以作为RDD编程对象入口,在sparkcore编程中可以通过它来获取sparkcontext对象进行rdd编程,也可以直接作为sparksql编程入口对象

sparksession对象构建案例

go 复制代码
# coding:utf8
# sparksql中入口对象是SparkSession对象
from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 构建sparksession对象,构建器模式
    spark = SparkSession.builder.\
        appName("mysparkTest").\
        master("local[*]").\
        config("spark.sql.shuffle.partitions", "4").\
        getOrCreate()
    # appName设置程序名称
    # local: 表示 Spark 将在本地模式下运行,即不会连接到任何集群管理器(如 YARN、Mesos 或 Kubernetes)。这通常用于开发和测试目的。
    # [*]: 这是一个特殊的语法,它告诉 Spark 使用所有可用的处理器核心来执行。星号 (*) 是一个占位符,它会被替换为当前机器上的处理器核心数。

    # config设置一些常用属性,不想设置可以不用写
    # getOrCreate创建sparksession对象

    # 通过SparkSession来获取SparkContext对象
    sc = spark.SparkContext
    # 读取csv格式文件,返回DataFrame格式的数据
    df = spark.read.csv("my_csv_file.csv", sep=',', header = False)
    # 给df加上表头,并赋值给新的df2
    df2 = df.toDF("id", "name", "age")
    # 打印df2表结构
    df2.printSchema()
    # 展示df2
    df2.show()
    # 创建临时视图,用于sql操作
    df2.createTempView("score")
    # SQL风格操作
    spark.sql("SELECT * FROM score where age=11 limit 5").show()
    # DSL风格
    df2.where("age=11").limit(5).show()
    
相关推荐
在未来等你4 分钟前
Elasticsearch面试精讲 Day 13:索引生命周期管理ILM
大数据·分布式·elasticsearch·搜索引擎·面试
Elastic 中国社区官方博客2 小时前
Elasticsearch:智能搜索的 MCP
大数据·人工智能·elasticsearch·搜索引擎·全文检索
未来之窗软件服务4 小时前
浏览器开发CEFSharp+X86 (十六)网页读取电子秤数据——仙盟创梦IDE
大数据·智能硬件·浏览器开发·仙盟创梦ide·东方仙盟·东方仙盟网页调用sdk
阿豪36 小时前
2025 年职场转行突围:除实习外,这些硬核证书让你的简历脱颖而出(纯经验分享)
大数据·人工智能·经验分享·科技·信息可视化·产品经理
张驰课堂6 小时前
老树发新芽:六西格玛培训为石油机械制造注入持久活力
大数据·人工智能·制造
卡卡_R-Python6 小时前
大数据探索性分析——抽样技术应用
大数据·r
伍哥的传说6 小时前
Lodash-es 完整开发指南:ES模块化JavaScript工具库实战教程
大数据·javascript·elasticsearch·lodash-es·javascript工具库·es模块·按需导入
请提交用户昵称7 小时前
大数据各组件flume,datax,presto,DolphinScheduler,findBI在大数据数仓架构中的作用和功能。
大数据·flume·datax·dolphin·presto·findbi·大数据组件
IT果果日记7 小时前
详解DataX开发达梦数据库插件
大数据·数据库·后端
用户Taobaoapi20148 小时前
微店API秘籍!轻松获取商品详情数据
大数据·数据挖掘·数据分析