如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题

Python系列Bug修复PyCharm控制台pip install报错：如何解决 pip install 安装报错 ModuleNotFoundError: No module named 'tokenizers' 问题

摘要

在使用 PyCharm 2025 开发 Python 项目的过程中，很多同学在控制台执行 pip install 或运行项目时，经常会遇到一个令人头疼的问题：

ModuleNotFoundError: No module named 'tokenizers'

这个报错最典型的场景出现在：

• 安装 HuggingFace 的 transformers、datasets 等依赖库时
• 第三方包依赖 tokenizers 却没有正确安装
• 或者开发环境配置不一致导致 import 失败

接下来，我们将对这个问题进行深度剖析，并给出多种可行的解决方案。

文章目录

• [Python系列Bug修复PyCharm控制台pip install报错：如何解决 pip install 安装报错 ModuleNotFoundError: No module named 'tokenizers' 问题](#Python系列Bug修复PyCharm控制台pip install报错：如何解决 pip install 安装报错 ModuleNotFoundError: No module named 'tokenizers' 问题)
• • 摘要
  • 一、开发环境说明
  • 二、问题场景与错误日志
  • 三、常见原因分析
  • 四、解决方案流程图
  • 五、详细解决方案
  • • [1. 确认包是否安装](#1. 确认包是否安装)
    • [2. 切换国内镜像源（加速解决网络问题）](#2. 切换国内镜像源（加速解决网络问题）)
    • [3. 检查 Python 解释器和虚拟环境](#3. 检查 Python 解释器和虚拟环境)
    • [4. 忘记 import](#4. 忘记 import)
    • [5. 缺少 `init.py`](#5. 缺少 __init__.py)
    • [6. 检查版本兼容性](#6. 检查版本兼容性)
    • [7. 确认 PYTHONPATH](#7. 确认 PYTHONPATH)
    • [8. 更新 pip](#8. 更新 pip)
    • [9. 扩展方案：使用 Conda 环境](#9. 扩展方案：使用 Conda 环境)
  • 六、总结
  • 七、总结表格
  • 八、更多资源
  • 作者✍️名片

---

一、开发环境说明

• 系统：macOS Sonoma
• Python版本：3.12
• PyCharm版本：2025 专业版
• pip版本：24.x

---

二、问题场景与错误日志

在 PyCharm 的 Terminal 控制台执行：

pip install transformers

运行项目时却提示：

ModuleNotFoundError: No module named 'tokenizers'

Markdown > 引用语法示例：

提示 ：即使你已经执行过 pip install tokenizers，仍然可能出现该问题。

---

三、常见原因分析

1. 依赖包没有正确安装
2. 包名拼写错误或环境隔离（虚拟环境 vs 系统环境）
3. 网络问题，pip 默认源下载失败
4. 忘记 import
5. 缺少 __init__.py 文件
6. 版本冲突 （例如 transformers 要求 tokenizers>=0.13）
7. PYTHONPATH 未设置 或路径不在 sys.path
8. 相对导入使用不当
9. pip 版本过旧

---

四、解决方案流程图

开发者 PyCharm控制台 pip包管理器 Python镜像源 pip install tokenizers 调用pip执行安装 请求下载tokenizers 返回安装包/失败信息 安装完成 or 报错 ModuleNotFoundError 开发者 PyCharm控制台 pip包管理器 Python镜像源

---

五、详细解决方案

1. 确认包是否安装

pip show tokenizers

如果没有安装，执行：

pip install tokenizers -U

2. 切换国内镜像源（加速解决网络问题）

编辑 ~/.pip/pip.conf（mac/Linux）或 C:\Users\<用户名>\pip\pip.ini（Windows）：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

常见国内源对比表格：

镜像源名称	地址
清华源	https://pypi.tuna.tsinghua.edu.cn/simple
阿里源	https://mirrors.aliyun.com/pypi/simple/
豆瓣源	https://pypi.doubanio.com/simple/

---

3. 检查 Python 解释器和虚拟环境

• 在 PyCharm Settings -> Project Interpreter 确认环境
• 使用 which python 查看当前解释器

---

4. 忘记 import

有时候只是写漏了：

import tokenizers

---

5. 缺少 __init__.py

如果是自建模块，需要在包目录下添加：

touch __init__.py

---

6. 检查版本兼容性

pip install "tokenizers>=0.13,<0.15"

---

7. 确认 PYTHONPATH

echo $PYTHONPATH

如果路径缺失，可以在 .bashrc 或 .zshrc 添加：

export PYTHONPATH=/path/to/your/project:$PYTHONPATH

---

8. 更新 pip

pip install --upgrade pip

---

9. 扩展方案：使用 Conda 环境

如果问题依旧，可以考虑：

conda install -c conda-forge tokenizers

---

---

六、总结

我们将 pip install tokenizers 报错可能的原因与解决方案进行了系统梳理。常见解决方法可以总结为：

• 检查是否正确安装
• 切换国内镜像源
• 更新 pip / 版本兼容性
• 确认虚拟环境解释器
• 设置 PYTHONPATH

---

七、总结表格

问题类型	解决方案
包未安装	pip install tokenizers
网络下载失败	切换国内源，配置 pip.conf
版本不兼容	pip install tokenizers==0.13.3
import错误	import tokenizers
缺少 init.py	在目录中添加空文件
路径不在sys.path	配置 PYTHONPATH

---

八、更多资源

🔔 温馨提示：更多Bug解决方案请查看

==> 全栈Bug解决方案专栏 https://blog.csdn.net/lyzybbs/category_12988910.html

---

作者✍️名片

---