本地加载hugging face模型:Bert

找了个hf的镜像站,把config.json和pytorch_model.bin两个文件进行下载下来,模型文件uncased_L-12_H-768_A-12.zip下载下来先。

解压模型文件压缩包,把前面下载的两个文件也放进去,总共6个文件。这个文件夹就是代码

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

BERT_PATH这里对应的文件路径。

Some weights of BertForSequenceClassification were not initialized from the model checkpoint at bert-base-uncased and are newly initialized: ['classifier.bias', 'classifier.weight']

pip install tensorflow

复制代码
from transformers import BertModel, BertTokenizer

model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name, from_tf=True)
相关推荐
学习中的数据喵11 分钟前
机器学习之逻辑回归
人工智能·机器学习·逻辑回归
kupeThinkPoem13 分钟前
vscode中continue插件介绍
人工智能
小殊小殊20 分钟前
【论文笔记】Video-RAG:开源视频理解模型也能媲美GPT-4o
人工智能·语音识别·论文笔记
龙腾AI白云23 分钟前
具身智能-普通LLM智能体与具身智能:从语言理解到自主行动
深度学习·数据挖掘
人工智能训练26 分钟前
前端框架选型破局指南:Vue、React、Next.js 从差异到落地全解析
运维·javascript·人工智能·前端框架·vue·react·next.js
IT_陈寒42 分钟前
90%的Python开发者不知道:这5个内置函数让你的代码效率提升300%
前端·人工智能·后端
吴法刚42 分钟前
Gemini cli 源码分析之Chat-ContentGenerator生成式 AI 模型交互
人工智能·microsoft·ai·gemini·ai编码
拾零吖1 小时前
CS336 Lecture_03
人工智能·pytorch·深度学习
斯文~1 小时前
【AI论文速递】RAG-GUI:轻量VLM用SFT/RSF提升GUI性能
人工智能·ai·agent·rag·ai读论文·ai论文速递