大数据分布式计算工具Spark实战讲解

PySpark

什么是PySpark?

  • Spark是Apache基金会旗下的顶级开源项目,用于对海量数据进行大规模分布式计算。

  • PySpark是Spark的Python实现,是Spark为Python开发者提供的编程入口,用于以Python代码完成Spark任务的开发

  • PySpark不仅可以作为Python第三方库使用,也可以将程序提交的Spark集群环境中,调度大规模集群进行执行。

PySpark库的安装

同其它的Python第三方库一样,PySpark同样可以使用pip程序进行安装。

python 复制代码
​
​
pip install pyspark

在"CMD"命令提示符程序内,输入

python 复制代码
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

构建PySpark执行环境入口对象

python 复制代码
from pyspark import SparkConf, SparkContext

#创建一个sparkconf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

#基于sparkconf类对象创建sparkcontext类对象
sc = SparkContext(conf=conf)

#打印pyspark的运行版本
print(sc.version)

#停止sparkcontext对象的运行
sc.stop()

PySpark的编程模型

SparkContext类对象,是PySpark编程中一切功能的入口。

PySpark的编程,主要分为如下三大步骤:

  • 数据输入:通过SparkContext完成数据读取

  • 数据计算:读取到的数据转换为RDD对象,调用RDD的成员方法完成计算

  • 数据输出:调用RDD的数据输出相关成员方法,将结果输出到list、元组、字典、文本文件、数据库等

RDD对象

PySpark支持多种数据的输入,在输入完成后,都会得到一个:RDD类的对象

RDD全称为:弹性分布式数据集(Resilient Distributed Datasets)

PySpark针对数据的处理,都是以RDD对象作为载体,即:

  • 数据存储在RDD内

  • 各类数据的计算方法,也都是RDD的成员方法

  • RDD的数据计算方法,返回值依旧是RDD对象

相关推荐
阿里云大数据AI技术44 分钟前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技1 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
stark张宇3 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk333244 小时前
Flink详细讲解
大数据·flink
用户46043852250866 小时前
关于paimon-rust 数据写入链路
大数据
数字融合7 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏8 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研8 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏8 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
时间的拾荒人9 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构