OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

文章目录

  • [OSError: Can't load tokenizer for 'bert-base-chinese'](#OSError: Can't load tokenizer for 'bert-base-chinese')

OSError: Can't load tokenizer for 'bert-base-chinese'

1.问题描述

使用from_pretrained()函数从预训练的权重中加载模型时报错:

OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing allrelevant files for a BertTokenizer tokenizer.

原因:主机或服务器 不能访问https://huggingface.co/页面,因此不能下载相应的权重。

2.解决办法

将权重文件下载到本地或服务器,使用本地权重文件实现加载,而不是在线下载。

  • 进入官网,Models页面,下载对应的Bert模型的权重。
  • 将下载的权重文件,放到某个文件夹下(加载路径的位置)
  • 修改权重文件的加载路径,也就是from_pretrained()函数里面的权重文件路径。注意:必须是绝对路径

成功解决!!!

😃😃😃

相关推荐
wan5555cn24 分钟前
AI生成内容的版权问题解析与实操指南
人工智能·笔记·深度学习·算法·音视频
catcfm1 小时前
MiniDrive:面向自动驾驶的更高效的视觉语言模型
人工智能·深度学习·语言模型·自动驾驶
PixelMind2 小时前
【IQA技术专题】 多尺度的transformer网络IQA:MUSIQ
深度学习·transformer·图像质量评价·iqa
wan5555cn3 小时前
文字生视频的“精准”代码设定的核心原则本质是最小化文本语义与视频内容的KL散度
人工智能·笔记·深度学习·音视频
点云SLAM10 小时前
PyTorch 中.backward() 详解使用
人工智能·pytorch·python·深度学习·算法·机器学习·机器人
Learn Beyond Limits11 小时前
Transfer Learning|迁移学习
人工智能·python·深度学习·神经网络·机器学习·ai·吴恩达
程序员三明治11 小时前
三、神经网络
人工智能·深度学习·神经网络
fsnine13 小时前
深度学习——残差神经网路
人工智能·深度学习
和鲸社区14 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
THMAIL15 小时前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm