OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.

一、具体报错:

报错如下:
OSError: Can't load tokenizer for 'bert-base-uncased'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-uncased' is the correct path to a dir

二、报错原因:

模型调用bert时,由于huggingface有墙导致模型无法下载

三、 解决方法:

1、通过镜像站下载

直接命令行通过huggingface镜像运行脚本,从而下载对应bert模型权重
HF_ENDPOINT=https://hf-mirror.com python 模型脚本.py

与之相同,通过设置环境变量也可以,以linux为例
export HF_ENDPOINT=https://hf-mirror.com

2、直接下载权重

地址https://huggingface.co/google-bert/bert-base-uncased/tree/main
镜像地址https://hf-mirror.com/google-bert/bert-base-uncased/tree/main
下载内容

xml 复制代码
config.json
pytorch_model.bin
tokenizer.json
tokenizer_config.json
vocab.txt

将对应文件放入一个文件夹内,如bert-base-uncased;查看报错所在的文件具体位置,以及对应引用模型的位置


tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

from_pretrained()中的内容换成模型所在文件夹的路径,建议填写绝对路径
tokenizer = BertTokenizer.from_pretrained('./bert-base-uncased')

相关推荐
aircrushin5 分钟前
国产大模型工业化转型:豆包2.0如何定义“数字员工”新范式
人工智能
AI浩7 分钟前
EFSI-DETR:用于无人机图像实时小目标检测的高效频域 - 语义集成方法
人工智能·目标检测·无人机
上进小菜猪9 分钟前
基于 YOLOv8 的无人机位置捕捉与识别检测系统 [目标检测完整源码]
人工智能
cyforkk12 分钟前
YAML 配置文件中的常见陷阱:内联字典与块映射混用
人工智能·深度学习·机器学习
Testopia12 分钟前
人脸检测:OpenVINO在计算机视觉中的应用
人工智能·计算机视觉·openvino
heimeiyingwang12 分钟前
企业级知识库构建:从数据清洗到向量检索
大数据·人工智能·机器学习
globaldomain16 分钟前
立海世纪:.com和.net域名哪个更适合你的网站
大数据·前端·人工智能·新媒体运营·国外域名·域名注册
小小工匠20 分钟前
大模型开发 - 手写Manus之Tavily搜索工具:04 让AI Agent接入互联网
人工智能·搜索·tavily
TMT星球20 分钟前
豆包除夕AI互动19亿次,Seedance2.0为春晚提供技术支持
人工智能
爱编程的Zion22 分钟前
小白AI学习笔记---第一章,如何正确使用
人工智能·笔记·学习