OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

文章目录

  • [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')

OSError: Can't load tokenizer for 'bert-base-chinese'

1.问题描述

使用from_pretrained()函数从预训练的权重中加载模型时报错:

OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.

原因:主机或服务器 不能访问https://huggingface.co/页面,因此不能下载相应的权重。

2.解决办法

将权重文件下载到本地或服务器,使用本地权重文件实现加载,而不是在线下载。

  • 进入官网,Models页面,下载对应的Bert模型的权重。
  • 将下载的权重文件,放到某个文件夹下(加载路径的位置)
  • 修改权重文件的加载路径,也就是from_pretrained()函数里面的权重文件路径。注意:必须是绝对路径

成功解决!!!

😃😃😃

相关推荐
-一杯为品-15 分钟前
【深度学习】#9 现代循环神经网络
人工智能·rnn·深度学习
硅谷秋水17 分钟前
ORION:通过视觉-语言指令动作生成的一个整体端到端自动驾驶框架
人工智能·深度学习·机器学习·计算机视觉·语言模型·自动驾驶
亿牛云爬虫专家1 小时前
深度学习在DOM解析中的应用:自动识别页面关键内容区块
深度学习·爬虫代理·dom·性能·代理ip·内容区块·东方财富吧
豆芽8191 小时前
强化学习(Reinforcement Learning, RL)和深度学习(Deep Learning, DL)
人工智能·深度学习·机器学习·强化学习
别摸我的婴儿肥2 小时前
从0开始LLM-注意力机制-2
深度学习
nenchoumi31193 小时前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
nndeploy3 小时前
nndeploy开源推理框架教程来袭,模型推理全流程,轻松上手,一键精通!
深度学习
何仙鸟3 小时前
卷积神经网络
人工智能·深度学习
鸿蒙布道师4 小时前
AI硬件遭遇“关税风暴“:中国科技企业如何破局?
人工智能·科技·嵌入式硬件·深度学习·神经网络·opencv·机器人
蹦蹦跳跳真可爱5894 小时前
Python----深度学习(基于深度学习Pytroch线性回归和曲线回归)
pytorch·python·深度学习·神经网络·回归·线性回归