OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

文章目录

  • [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')

OSError: Can't load tokenizer for 'bert-base-chinese'

1.问题描述

使用from_pretrained()函数从预训练的权重中加载模型时报错:

OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.

原因:主机或服务器 不能访问https://huggingface.co/页面,因此不能下载相应的权重。

2.解决办法

将权重文件下载到本地或服务器,使用本地权重文件实现加载,而不是在线下载。

  • 进入官网,Models页面,下载对应的Bert模型的权重。
  • 将下载的权重文件,放到某个文件夹下(加载路径的位置)
  • 修改权重文件的加载路径,也就是from_pretrained()函数里面的权重文件路径。注意:必须是绝对路径!

成功解决!!!

😃😃😃

相关推荐
泓博1 分钟前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄1 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神4 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
电科_银尘1 天前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
武子康1 天前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
在所不辞兄1 天前
为什么在新能源汽车电驱与热管理开发中,AI驱动的数字孪生和数据驱动仿真正在部分替代对物理台架与实车标定的依赖?
人工智能·深度学习·神经网络·算法·机器学习
伞伞悦读2 天前
【第83期】特征选择中的验证泄漏排查的实验与排查
人工智能·深度学习·机器学习
一只废狗狗狗狗狗狗狗狗狗2 天前
自监督式学习
人工智能·深度学习·机器学习·bert
aifannihao2 天前
AI 学习第 14 课:CNN 训 6 轮卡在 0.5352,数据没打乱
pytorch·python·深度学习·cnn·学习路线
萝卜小白2 天前
深度学习基础面经
人工智能·深度学习