使用Pycharm运行spark实例时没有pyspark包(ModuleNotFoundError: No module named ‘py4j‘)

一、问题描述

在安装并配置pyspark下载并打开Pycharm(专业版)后进行spark实例操作(笔者以统计文件中的行数为例)时,运行程序后提示ModuleNotFoundError: No module named 'py4j':

二、解决办法

1.下载py4j包后下载pyspark包

打开新终端,在终端中输入(若在pycharm中进行下载可能导致下载失败,这里指定使用清华源镜像进行下载):

bash 复制代码
 pip install py4j -i https://pypi.tuna.tsinghua.edu.cn/simple

下载完成后打开Pycharm,再次运行即可成功,但代码中还是会有错误提示(红色波浪线):

要消除错误提示(红色波浪线)需下载pyspark包,点击Pycharm右上角的File>settings>Project:PythonProject>Python Interpreter,点击+号,在搜索框中搜索pyspark安装即可:

安装完成后可以看到错误提示消失且程序成功运行:

2.直接下载pyspark包

打开终端,输入以下内容来通过清华镜像下载pyspark包:

bash 复制代码
 pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

等待下载完成后重新启动Pycharm,再次运行程序即可成功且无错误提示:

三、问题分析

上述错误是关于找不到py4j模块相关的错误。这个模块用于在Python和Java之间进行通信,这对于PySpark正常工作是至关重要的。可以使用pip来安装它,通过使用清华大学开源软件镜像站提供的源来安装PySpark,通常可以加快下载速度并提高安装成功率。安装成功后程序正常运行!!!

相关推荐
stephon_10011 小时前
Agent 接入 MCP 后上下文爆炸、工具选串?一种“按需激活“的工具加载方案(含实现)
人工智能·python·ai
TickDB11 小时前
统一行情 API 查 A 股、港股、美股和数字货币:code=0 不代表 symbol 一个没少
人工智能·python·websocket·mcp·行情数据 api
Zhan86112412 小时前
数据接口的序列号机制与丢包检测:西班牙行情数据IBEX指数实时行情接入笔记
大数据·数据结构·笔记·区块链
滴图服务-七七16 小时前
滴滴地图:精准定位赋能企业数字化转型
大数据·人工智能·地图服务·甲级测绘资质·商业授权
kebidaixu18 小时前
BCU 平台 RS485 驱动适配:从 THVD1406 到 ISO3082
linux
大貔貅喝啤酒18 小时前
Python Requests库教程
自动化测试·python·requests库
copyer_xyf19 小时前
LangChain 调用 LLM
后端·python·agent
copyer_xyf19 小时前
Prompt 组织管理
后端·python·agent
shimly12345619 小时前
python3 uvicorn 是啥?
python
CTA量化套保20 小时前
期货量化程序 time.sleep 卡死:天勤单线程与 deadline 替代
python·区块链