使用Pycharm运行spark实例时没有pyspark包(ModuleNotFoundError: No module named ‘py4j‘)

一、问题描述

在安装并配置pyspark下载并打开Pycharm(专业版)后进行spark实例操作(笔者以统计文件中的行数为例)时,运行程序后提示ModuleNotFoundError: No module named 'py4j':

二、解决办法

1.下载py4j包后下载pyspark包

打开新终端,在终端中输入(若在pycharm中进行下载可能导致下载失败,这里指定使用清华源镜像进行下载):

bash 复制代码
 pip install py4j -i https://pypi.tuna.tsinghua.edu.cn/simple

下载完成后打开Pycharm,再次运行即可成功,但代码中还是会有错误提示(红色波浪线):

要消除错误提示(红色波浪线)需下载pyspark包,点击Pycharm右上角的File>settings>Project:PythonProject>Python Interpreter,点击+号,在搜索框中搜索pyspark安装即可:

安装完成后可以看到错误提示消失且程序成功运行:

2.直接下载pyspark包

打开终端,输入以下内容来通过清华镜像下载pyspark包:

bash 复制代码
 pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

等待下载完成后重新启动Pycharm,再次运行程序即可成功且无错误提示:

三、问题分析

上述错误是关于找不到py4j模块相关的错误。这个模块用于在Python和Java之间进行通信,这对于PySpark正常工作是至关重要的。可以使用pip来安装它,通过使用清华大学开源软件镜像站提供的源来安装PySpark,通常可以加快下载速度并提高安装成功率。安装成功后程序正常运行!!!

相关推荐
小爬虫程序猿1 分钟前
如何利用Python解析API返回的数据结构?
数据结构·数据库·python
波点兔3 分钟前
【部署glm4】属性找不到、参数错误问题解决(思路:修改模型包版本)
人工智能·python·机器学习·本地部署大模型·chatglm4
wowocpp1 小时前
查看 linux ubuntu 分区 和 挂载 情况 lsblk
linux·运维·ubuntu
wowocpp1 小时前
查看 磁盘文件系统格式 linux ubuntu blkid ext4
linux·数据库·ubuntu
龙鸣丿2 小时前
Linux基础学习笔记
linux·笔记·学习
一点媛艺3 小时前
Kotlin函数由易到难
开发语言·python·kotlin
耶啵奶膘4 小时前
uniapp-是否删除
linux·前端·uni-app
2401_883041084 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
青云交4 小时前
大数据新视界 -- 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
魔道不误砍柴功4 小时前
Java 中如何巧妙应用 Function 让方法复用性更强
java·开发语言·python