使用Pycharm运行spark实例时没有pyspark包(ModuleNotFoundError: No module named ‘py4j‘)

一、问题描述

在安装并配置pyspark下载并打开Pycharm(专业版)后进行spark实例操作(笔者以统计文件中的行数为例)时,运行程序后提示ModuleNotFoundError: No module named 'py4j':

二、解决办法

1.下载py4j包后下载pyspark包

打开新终端,在终端中输入(若在pycharm中进行下载可能导致下载失败,这里指定使用清华源镜像进行下载):

bash 复制代码
 pip install py4j -i https://pypi.tuna.tsinghua.edu.cn/simple

下载完成后打开Pycharm,再次运行即可成功,但代码中还是会有错误提示(红色波浪线):

要消除错误提示(红色波浪线)需下载pyspark包,点击Pycharm右上角的File>settings>Project:PythonProject>Python Interpreter,点击+号,在搜索框中搜索pyspark安装即可:

安装完成后可以看到错误提示消失且程序成功运行:

2.直接下载pyspark包

打开终端,输入以下内容来通过清华镜像下载pyspark包:

bash 复制代码
 pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

等待下载完成后重新启动Pycharm,再次运行程序即可成功且无错误提示:

三、问题分析

上述错误是关于找不到py4j模块相关的错误。这个模块用于在Python和Java之间进行通信,这对于PySpark正常工作是至关重要的。可以使用pip来安装它,通过使用清华大学开源软件镜像站提供的源来安装PySpark,通常可以加快下载速度并提高安装成功率。安装成功后程序正常运行!!!

相关推荐
大妞5 分钟前
ubuntu20.04 install vscode[ROS]
ubuntu
乐闻x5 分钟前
VSCode 插件开发实战(六):配置自定义状态栏
ide·vscode·编辑器
张明奇-琦玉6 分钟前
vscode添加全局宏定义
ide·vscode·编辑器
Code_流苏10 分钟前
VSCode搭建Java开发环境 2024保姆级安装教程(Java环境搭建+VSCode安装+运行测试+背景图设置)
java·ide·vscode·搭建·java开发环境
星星不说话~10 分钟前
VScode在远程服务器上安装Anaconda并确认安装成功的步骤
ide·vscode·编辑器
良许Linux12 分钟前
0.96寸OLED显示屏详解
linux·服务器·后端·互联网
蜜獾云23 分钟前
docker 安装雷池WAF防火墙 守护Web服务器
linux·运维·服务器·网络·网络安全·docker·容器
小屁不止是运维24 分钟前
麒麟操作系统服务架构保姆级教程(五)NGINX中间件详解
linux·运维·服务器·nginx·中间件·架构
qq_5290252927 分钟前
Torch.gather
python·深度学习·机器学习
数据小爬虫@28 分钟前
如何高效利用Python爬虫按关键字搜索苏宁商品
开发语言·爬虫·python