1、Spark是Apache基金会 下的顶级开源项目,用于对海量数据经行大规模的分布式技术;
2、P有Spark是Spark的python实现,用于python中完成Spark的任务开发;
3、安装:可通过cmd终端进行安装
pip install PySpark
也可以通过国内镜像网站,
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark
3、执行一个简答的程序进行验证
# 导入 PySpark 相关包
from pyspark import SparkConf, SparkContext
conf =SparkConf().setMaster("local[*]").setAppName("test_spark_app") # 创建SparkConf对象
# 基于SparkConf对象创建sparkcontext对象,
sc=SparkContext(conf=conf)
#打印pyspark的版本
print(sc.version)
sc.stop()
如果出现乱码,可能是jdk的问题,或者是编码问题