OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

文章目录

  • [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')

OSError: Can't load tokenizer for 'bert-base-chinese'

1.问题描述

使用from_pretrained()函数从预训练的权重中加载模型时报错:

OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.

原因:主机或服务器 不能访问https://huggingface.co/页面,因此不能下载相应的权重。

2.解决办法

将权重文件下载到本地或服务器,使用本地权重文件实现加载,而不是在线下载。

  • 进入官网,Models页面,下载对应的Bert模型的权重。
  • 将下载的权重文件,放到某个文件夹下(加载路径的位置)
  • 修改权重文件的加载路径,也就是from_pretrained()函数里面的权重文件路径。注意:必须是绝对路径

成功解决!!!

😃😃😃

相关推荐
WhyNot?1 小时前
深度学习入门(二):从感知机到神经网络
人工智能·深度学习·神经网络
豆芽8191 小时前
基于 Flask 的图像分类预测案例解读
人工智能·后端·python·深度学习·神经网络·分类·flask
小白的高手之路1 小时前
Pytorch中torch.nn的学习
人工智能·pytorch·python·深度学习·神经网络·学习·机器学习
Flash Bomb4222 小时前
自然语言处理(21:(第六章1.)基于RNN生成文本)
人工智能·rnn·深度学习·神经网络·自然语言处理
梦姐的编程日志2 小时前
从研究动机视角对无监督图像去雾论文的分类
图像处理·人工智能·深度学习·算法·计算机视觉
进取星辰3 小时前
PyTorch 深度学习实战(28):对比学习(Contrastive Learning)与自监督表示学习
人工智能·深度学习
GiantGo3 小时前
深度学习中常见的专业术语汇总
深度学习·名称解释
记得开心一点嘛4 小时前
YOLOv11模型的常见处理
深度学习·yolo·机器学习
撬动未来的支点4 小时前
【深度学习】不管理论,入门从手写数字识别开始
人工智能·深度学习
odoo中国4 小时前
深度学习 Deep Learning 第13章 线性因子模型
人工智能·深度学习·线性因子模型