pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm

vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0

export PATH= P A T H : PATH: PATH:SCALA_HOME/bin

export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3

export PATH= P A T H : PATH: PATH:SPARK_HOME/bin

export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip

export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version

java -version

pyspark

pip -V

python -V

2、创建project
3、选中项目,点击Pycharm->Settings...->点击 Project:xxx:->Project Structure

4、配置SPARK_HOME

写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME


5、conda 的env环境增加pyspark引用

6、运行脚本

相关推荐
Python×CATIA工业智造10 分钟前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
onceco40 分钟前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
狐凄1 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊2 小时前
Python之--基本知识
开发语言·前端·python
回家吃月饼3 小时前
pycharm2018配置gitee操作
pycharm·gitee
hero_heart3 小时前
vscode中c_cpp_properities.cpp文件生成和作用
ide·vscode·编辑器
笑稀了的野生俊4 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva4 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
路来了5 小时前
Python小工具之PDF合并
开发语言·windows·python
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习