PysparkNote006---pycharm加载spark环境

pycharm配置pyspark环境,本地执行pyspark代码

spark安装、添加环境变量不提了

  • File-Settings-Project-Project Structure-add content root
  • 添加如下两个路径
    • D:\code\spark\python\lib\py4j-0.10.7-src.zip
    • D:\code\spark\python\lib\pyspark.zip

2023-07-26 阴 于南京市江宁区

相关推荐
小张同学82420 小时前
-RAG检索增强生成让智能体拥有企业级专属知识库
开发语言·python·架构·pycharm
渣渣盟2 天前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
DolphinScheduler社区3 天前
DolphinScheduler 3.3.2 如何调用 DataX 3.0 + SeaTunnel 2.3.12?附 Demo演示!
java·spark·apache·海豚调度·大数据工作流调度
中二痞3 天前
下载Python 版本,环境变量变更以及PyCharm更换python版本
开发语言·python·pycharm
SilentSamsara3 天前
标准库精讲:collections/itertools/functools/pathlib 实战
开发语言·vscode·python·青少年编程·pycharm
Leo.yuan3 天前
数据仓库是什么?数据仓库和大数据平台、数据湖、数据中台、湖仓一体有什么区别?
大数据·数据仓库·spark
heiqizero3 天前
Spark RDD动作算子
spark
heiqizero3 天前
Spark RDD转换算子02
spark
SilentSamsara3 天前
Python 并发基础:threading/GIL 与 multiprocessing 的选型逻辑
服务器·开发语言·数据库·vscode·python·pycharm
SilentSamsara3 天前
Python 内存管理:引用计数、循环垃圾回收与内存泄漏排查
开发语言·vscode·python·青少年编程·pycharm