文章目录
- [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')
OSError: Can't load tokenizer for 'bert-base-chinese'
1.问题描述
使用from_pretrained()函数从预训练的权重中加载模型时报错：
OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.
原因：主机或服务器 不能访问https://huggingface.co/页面，因此不能下载相应的权重。
2.解决办法
将权重文件下载到本地或服务器，使用本地权重文件实现加载，而不是在线下载。
- 进入官网，Models页面，下载对应的Bert模型的权重。
- 将下载的权重文件，放到某个文件夹下（加载路径的位置）
- 修改权重文件的加载路径，也就是
from_pretrained()函数里面的权重文件路径。注意：必须是绝对路径！
成功解决！！！
😃😃😃