OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

文章目录

• [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')
• • 1.问题描述
  • 2.解决办法

OSError: Can't load tokenizer for 'bert-base-chinese'

1.问题描述

使用from_pretrained()函数从预训练的权重中加载模型时报错：

OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.

原因：主机或服务器 不能访问https://huggingface.co/页面，因此不能下载相应的权重。

2.解决办法

将权重文件下载到本地或服务器，使用本地权重文件实现加载，而不是在线下载。

• 进入官网，Models页面，下载对应的Bert模型的权重。

• 将下载的权重文件，放到某个文件夹下（加载路径的位置）

• 修改权重文件的加载路径，也就是from_pretrained()函数里面的权重文件路径。注意：必须是绝对路径！

成功解决！！！

😃😃😃