sparksession对象简介

什么是sparksession对象

spark2.0之后,sparksession对象是spark编码的统一入口对象,通常我们在rdd编程时,需要SparkContext对象作为RDD编程入口,但sparksession对象既可以作为RDD编程对象入口,在sparkcore编程中可以通过它来获取sparkcontext对象进行rdd编程,也可以直接作为sparksql编程入口对象

sparksession对象构建案例

go 复制代码
# coding:utf8
# sparksql中入口对象是SparkSession对象
from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 构建sparksession对象,构建器模式
    spark = SparkSession.builder.\
        appName("mysparkTest").\
        master("local[*]").\
        config("spark.sql.shuffle.partitions", "4").\
        getOrCreate()
    # appName设置程序名称
    # local: 表示 Spark 将在本地模式下运行,即不会连接到任何集群管理器(如 YARN、Mesos 或 Kubernetes)。这通常用于开发和测试目的。
    # [*]: 这是一个特殊的语法,它告诉 Spark 使用所有可用的处理器核心来执行。星号 (*) 是一个占位符,它会被替换为当前机器上的处理器核心数。

    # config设置一些常用属性,不想设置可以不用写
    # getOrCreate创建sparksession对象

    # 通过SparkSession来获取SparkContext对象
    sc = spark.SparkContext
    # 读取csv格式文件,返回DataFrame格式的数据
    df = spark.read.csv("my_csv_file.csv", sep=',', header = False)
    # 给df加上表头,并赋值给新的df2
    df2 = df.toDF("id", "name", "age")
    # 打印df2表结构
    df2.printSchema()
    # 展示df2
    df2.show()
    # 创建临时视图,用于sql操作
    df2.createTempView("score")
    # SQL风格操作
    spark.sql("SELECT * FROM score where age=11 limit 5").show()
    # DSL风格
    df2.where("age=11").limit(5).show()
    
相关推荐
向往鹰的翱翔6 分钟前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟1 小时前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 小时前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工2 小时前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5
广州腾科助你拿下华为认证4 小时前
华为考试:HCIE数通考试难度分析
大数据·华为
在未来等你6 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB9 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720139 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐11 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社12 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗