python与PySpark

阿ฅ( ̳• ε • ̳)ฅ2024-04-26 8:50

1、Spark是Apache基金会下的顶级开源项目，用于对海量数据经行大规模的分布式技术；

2、P有Spark是Spark的python实现，用于python中完成Spark的任务开发；

3、安装：可通过cmd终端进行安装

复制代码

pip install PySpark

也可以通过国内镜像网站，

复制代码

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

3、执行一个简答的程序进行验证

复制代码

# 导入 PySpark 相关包
from pyspark import SparkConf, SparkContext


conf =SparkConf().setMaster("local[*]").setAppName("test_spark_app") # 创建SparkConf对象
 # 基于SparkConf对象创建sparkcontext对象，
sc=SparkContext(conf=conf)

#打印pyspark的版本
print(sc.version)
sc.stop()

如果出现乱码，可能是jdk的问题，或者是编码问题