pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm

vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0

export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3

export PATH= P A T H : PATH: PATH:SPARK_HOME/bin

export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip

export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version

java -version

pyspark

pip -V

python -V

2、创建project
3、选中项目,点击Pycharm->Settings...->点击 Project:xxx:->Project Structure

4、配置SPARK_HOME

写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME


5、conda 的env环境增加pyspark引用

6、运行脚本

相关推荐
牛奔14 分钟前
Linux 安装配置Anaconda
python·conda
往日情怀酿做酒 V176392963818 分钟前
Django项目之订单管理part3
后端·python·django
查理零世36 分钟前
【算法】 区间合并(附蓝桥杯真题) python
python·算法·蓝桥杯
人工智能研究所1 小时前
使用OpenCV与Python编写自己的俄罗斯方块小游戏
开发语言·python·opencv
DDD小小小宇宙1 小时前
python列表基础知识
开发语言·windows·python
@黄色海岸2 小时前
【sklearn 05】sklearn功能模块
人工智能·python·sklearn
追逐☞2 小时前
PyTorch使用-张量类型转换
人工智能·pytorch·python
懒大王爱吃狼2 小时前
Python + Qt Designer构建多界面GUI应用程序:Python如何调用多个界面文件
开发语言·数据库·python·qt·mysql·python基础·命令模式
北京_宏哥2 小时前
🔥《手把手教你》系列练习篇之8-python+ selenium自动化测试(详细教程)
前端·python·selenium
北京_宏哥2 小时前
🔥《手把手教你》系列练习篇之7-python+ selenium自动化测试(详细教程)
前端·python·selenium