pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm

vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0

export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3

export PATH= P A T H : PATH: PATH:SPARK_HOME/bin

export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip

export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version

java -version

pyspark

pip -V

python -V

2、创建project
3、选中项目,点击Pycharm->Settings...->点击 Project:xxx:->Project Structure

4、配置SPARK_HOME

写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME


5、conda 的env环境增加pyspark引用

6、运行脚本

相关推荐
梦想画家9 分钟前
使用Python Seaborn创建热力图:从核心概念到实战案例
python·信息可视化
Nice2cu_Code29 分钟前
Python教程(三):类&对象、闭包、装饰器、类型注解、MRO
开发语言·python
一头大学牲32 分钟前
vscode打不开
ide·vscode·编辑器
databook34 分钟前
manim边学边做--三维图形的场景类
python·动效
调皮的芋头38 分钟前
【“以退为进“、“不得已而为之“与“风险对冲“的协同机制】
python·神经网络·机器学习
杜子腾dd1 小时前
18.使用读写包操作Excel文件:xlrd、xlwt 和 xlutils 包
python·数据挖掘·excel·numpy·pandas
林泽毅1 小时前
SwanLab私有化部署教程!
python·深度学习·大模型·强化学习·swanlab·训练实战
空谷传声~1 小时前
配置blender的python环境
python·blender
小杨4042 小时前
python入门系列八(类)
人工智能·python·jupyter
没有晚不了安4 小时前
第三周日志-周末看书(3)
python