本地加载hugging face模型:Bert

找了个hf的镜像站,把config.json和pytorch_model.bin两个文件进行下载下来,模型文件uncased_L-12_H-768_A-12.zip下载下来先。

解压模型文件压缩包,把前面下载的两个文件也放进去,总共6个文件。这个文件夹就是代码

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

BERT_PATH这里对应的文件路径。

Some weights of BertForSequenceClassification were not initialized from the model checkpoint at bert-base-uncased and are newly initialized: 'classifier.bias', 'classifier.weight'

pip install tensorflow

复制代码
from transformers import BertModel, BertTokenizer

model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name, from_tf=True)
相关推荐
一切皆是因缘际会几秒前
掌控信息论:同源星际通信基础理论 上
人工智能·ai·系统架构·分布式系统·信息论·星际通信·物理计算机
Dawson Zhu几秒前
Multi-Agent架构与适用边界:何时应该使用Multi-Agent架构
人工智能·语言模型·架构·aigc·agi
指针向南2 分钟前
MP4索引怎样影响边下边播
图像处理·人工智能·计算机视觉
xianghongtao01163 分钟前
麦肯锡2026技术趋势06_网络安全与可信系统_研究解读
人工智能·安全·web安全
小宋10217 分钟前
评测集也会过期:数据漂移、难度漂移与基准版本治理
人工智能
ClickHouseDB14 分钟前
AI 工程闭环的自动化趋势与质量把控边界
大数据·人工智能
miofly18 分钟前
EmbeddingGemma 2:740M 参数的多模态嵌入模型,支持本地推理
人工智能
YOLO数据集集合23 分钟前
桥梁损伤实例分割数据集 | 桥梁损伤 实例分割 裂缝检测 钢筋外露 混凝土剥落9160期
人工智能·目标检测·计算机视觉·桥梁·桥梁损害·桥梁数据集
DongQiShanRen26 分钟前
裁决台账双向互校(下):台账哈希链、三向对账与最小落地
人工智能·深度学习·算法·目标跟踪·自然语言处理·rust·哈希算法
兆。32 分钟前
【无标题】
人工智能