Jupyter并发测试以后出现EOFError marshal data too short

Jupyter 并发测试以后出现EOFError: marshal data too short

背景

由于项目需求需要用户能进行网页在线运行python代码程序,调研后决定使用Jupyter的服务接口实现此功能,目前使用docker进行容器化部署,测试针对次服务进行并发测试。测试并发过程中,导致kernels已经达到顶峰值,然后我暴力关掉所有的kernels以后,再进行使用的时候,出现EOFError: marshal data too short

现象

分析与解决方案

通过异常日志分析,查到这篇文章https://stackoverflow.com/questions/50391941/eoferror-marshal-data-too-short说是要pyc文件损坏,需要删除`__pycache__`文件夹下的文件。

从日志分析需要删除ipykernel、IPython、jedi下的缓存文件,使用一下命令查询并删除

shell 复制代码
find /usr/local/lib/python3.11/dist-packages/ipykernel -name __pycache__ | grep IPython -exec rm -r {} +

删除完后发现还是解决不了问题。最后想了一个暴力的解决方案,直接删除dist-packagess 目录下的所有的__pycache__文件夹。

shell 复制代码
find . -type d -name "__pycache__" -exec rm -r {} +

再尝试运行一下,完美解决问题!

相关推荐
wuyk55514 分钟前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
汤姆宝库43 分钟前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
用户019027581611 小时前
股票代码格式对照:各数据源代码转 AlphaFeed
python
__underline__2 小时前
冷门Python知识点005篇:list.sort( )的排序稳定性,是用0字节额外内存实现的
python·算法
贝壳6902 小时前
升到 9.13.12 我照着文档抄了两行,两次都炸了
python
VIP_CQCRE2 小时前
AI 音乐 API 上线后成本失控?用预算阈值、幂等任务和音频验收管住 Suno v6
python·api·suno·ai音乐·成本治理
2601_967980112 小时前
python list如何赋值
python·list·列表推导式·赋值·切片赋值
典学长编程3 小时前
LangGraph 快速入门:从 StateGraph 到 ReAct Agent
python·有向图·无向图·langgraph·react agent·stategraph
用户019027581616 小时前
AlphaFeed 查不到代码返回空?非法/缺后缀 symbol 的行为与处理
python
isfox6 小时前
Python 单元测试:别再用 print 调试了,写个测试一劳永逸
python