pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm

vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0

export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3

export PATH= P A T H : PATH: PATH:SPARK_HOME/bin

export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip

export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version

java -version

pyspark

pip -V

python -V

2、创建project
3、选中项目,点击Pycharm->Settings...->点击 Project:xxx:->Project Structure

4、配置SPARK_HOME

写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME


5、conda 的env环境增加pyspark引用

6、运行脚本

相关推荐
懒大王爱吃狼4 分钟前
Python + Qt Designer构建多界面GUI应用程序:Python如何调用多个界面文件
开发语言·数据库·python·qt·mysql·python基础·命令模式
北京_宏哥8 分钟前
🔥《手把手教你》系列练习篇之8-python+ selenium自动化测试(详细教程)
前端·python·selenium
北京_宏哥10 分钟前
🔥《手把手教你》系列练习篇之7-python+ selenium自动化测试(详细教程)
前端·python·selenium
三道杠卷胡15 分钟前
【AI News | 20250316】每日AI进展
人工智能·python·语言模型·github·aigc
这里有鱼汤22 分钟前
Python编程新境界:掌握函数式编程,让你的代码优雅到飞起
后端·python
这里有鱼汤24 分钟前
如何让 Python 代码像口红一样有质感?答案是 dataclass!
后端·python
老实巴交的麻匪28 分钟前
大模型应用开发|检索增强生成(RAG)在法律领域应用
人工智能·python
freejackman36 分钟前
UnitTest框架管理测试用例——python自动化测试
python·pycharm·测试
JavaEdge在掘金37 分钟前
数据增强正在杀死你的模型:90%开发者不知道的回译质量陷阱
python
Ronin-Lotus1 小时前
图像处理篇---图像预处理
图像处理·人工智能·python·深度学习·opencv·计算机视觉