pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm

vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0

export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3

export PATH= P A T H : PATH: PATH:SPARK_HOME/bin

export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip

export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version

java -version

pyspark

pip -V

python -V

2、创建project
3、选中项目,点击Pycharm->Settings...->点击 Project:xxx:->Project Structure

4、配置SPARK_HOME

写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME


5、conda 的env环境增加pyspark引用

6、运行脚本

相关推荐
斯密码赛我是美女5 分钟前
日志Python安全之SSTI——Flask/Jinja2
后端·python·flask
YuiGod15 分钟前
《从零开始DeepSeek R1搭建本地知识库问答系统》六:关于聊天模型 API Key 的使用与调用 Embedding 模型
python·langchain·deepseek
柳如烟@24 分钟前
docker python:latest镜像 允许ssh远程
python·docker·ssh
bryant_meng27 分钟前
【python】OpenCV—Hough Circle Transform
开发语言·python·opencv·hough·圆形检测
chen丶244 分钟前
搭建基于flask的web应用框架
python·flask
梦想画家2 小时前
使用Python Seaborn创建热力图:从核心概念到实战案例
python·信息可视化
Nice2cu_Code2 小时前
Python教程(三):类&对象、闭包、装饰器、类型注解、MRO
开发语言·python
一头大学牲2 小时前
vscode打不开
ide·vscode·编辑器
databook2 小时前
manim边学边做--三维图形的场景类
python·动效
调皮的芋头2 小时前
【“以退为进“、“不得已而为之“与“风险对冲“的协同机制】
python·神经网络·机器学习