pyspark 安装记录

1、安装软件

1、python 3.10

2、hadoop-3.3.4 里面的winutils 要记得添加

3、java-17

4、spark-3.5.1-bin-hadoop3

python 安装 pyspark,Jupyter notebook

python 复制代码
pip install pyspark
pip install jupyter notebook

2、添加环境变量

  1. JAVA_HOME=C:\PySparkService\java-17
  2. HADOOP_HOME=C:\PySparkService\hadoop-3.3.4
  3. SPARK_HOME=C:\PySparkService\spark-3.5.1-bin-hadoop3
  4. %JAVA_HOME%\bin
  5. %HADOOP_HOME%\bin
  6. %SPARK_HOME%\bin

下面环境不配置会报错

PYSPARK_PYTHON=python

#jupyter notebook 启动 pyspark

自己安装 jupyter notebook 使用下面环境变量

PYSPARK_DRIVER_PYTHON=jupyter

# anaconda 可能是下面的

PYSPARK_DRIVER_PYTHON=ipython

PYSPARK_DRIVER_PYTHON_OPTS=notebook

cmd 命令行启动pyspark

启动成功

PYSPARK_PYTHON=python

上面环境不设置会报下面错误

复制代码
Py4JJavaError: An error occurred while calling o56.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 
相关推荐
im_AMBER2 小时前
学习日志19 python
python·学习
mortimer5 小时前
安装NVIDIA Parakeet时,我遇到的两个Pip“小插曲”
python·github
@昵称不存在5 小时前
Flask input 和datalist结合
后端·python·flask
赵英英俊6 小时前
Python day25
python
东林牧之6 小时前
Django+celery异步:拿来即用,可移植性高
后端·python·django
何双新6 小时前
基于Tornado的WebSocket实时聊天系统:从零到一构建与解析
python·websocket·tornado
AntBlack7 小时前
从小不学好 ,影刀 + ddddocr 实现图片验证码认证自动化
后端·python·计算机视觉
凪卄12137 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
巫婆理发2227 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
seasonsyy7 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置