使用Pycharm运行spark实例时没有pyspark包（ModuleNotFoundError: No module named ‘py4j‘）

哇咔咔哇咔2024-04-27 9:30

一、问题描述

在安装并配置pyspark，下载并打开Pycharm（专业版）后进行spark实例操作（笔者以统计文件中的行数为例）时，运行程序后提示ModuleNotFoundError: No module named 'py4j'：

1.下载py4j包后下载pyspark包

打开新终端，在终端中输入（若在pycharm中进行下载可能导致下载失败，这里指定使用清华源镜像进行下载）:

bash 复制代码

 pip install py4j -i https://pypi.tuna.tsinghua.edu.cn/simple

下载完成后打开Pycharm，再次运行即可成功，但代码中还是会有错误提示（红色波浪线）：

要消除错误提示（红色波浪线）需下载pyspark包，点击Pycharm右上角的File>settings>Project:PythonProject>Python Interpreter，点击＋号，在搜索框中搜索pyspark安装即可：

安装完成后可以看到错误提示消失且程序成功运行：

2.直接下载pyspark包

打开终端，输入以下内容来通过清华镜像下载pyspark包：

bash 复制代码

 pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

等待下载完成后重新启动Pycharm，再次运行程序即可成功且无错误提示：

上述错误是关于找不到py4j模块相关的错误。这个模块用于在Python和Java之间进行通信，这对于PySpark正常工作是至关重要的。可以使用pip来安装它，通过使用清华大学开源软件镜像站提供的源来安装PySpark，通常可以加快下载速度并提高安装成功率。安装成功后程序正常运行！！！