本地加载hugging face模型:Bert

找了个hf的镜像站,把config.json和pytorch_model.bin两个文件进行下载下来,模型文件uncased_L-12_H-768_A-12.zip下载下来先。

解压模型文件压缩包,把前面下载的两个文件也放进去,总共6个文件。这个文件夹就是代码

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

BERT_PATH这里对应的文件路径。

Some weights of BertForSequenceClassification were not initialized from the model checkpoint at bert-base-uncased and are newly initialized: 'classifier.bias', 'classifier.weight'

pip install tensorflow

复制代码
from transformers import BertModel, BertTokenizer

model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name, from_tf=True)
相关推荐
田里的水稻1 分钟前
LLM_Transformer的神经网络
人工智能·深度学习·神经网络·机器学习·transformer
AI HR研究社9 分钟前
从“人工智能+人社”到企业HR落地:6项AI能力与系统架构清单
人工智能·人力资源软件
neoooo16 分钟前
🚀Claude Code 小技巧(二):找回会话,撤销修改
前端·人工智能·后端
AIGCmagic社区17 分钟前
多模态Jev专题:FastJEV剪掉45.83%候选层,0.8B平均分还留97.52%
人工智能·aigc·jev模型
鲜于言悠90524 分钟前
RAG工程化实战:从玩具Demo进化成企业可用知识库
人工智能
吴佳浩31 分钟前
“优化 KV Cache”到底在优化什么?vLLM、SGLang、Strata 优化的是三个不同的维度
人工智能
a努力。33 分钟前
MCP只连工具,不直接连技能
人工智能
neoooo35 分钟前
🚀Claude Code 小技巧(一):一键进入危险模式
前端·人工智能·后端
阿里云大数据AI技术1 小时前
PAI 模型蒸馏全新发布「场景化蒸馏」:把最佳实践装进模板,让大模型能力"轻装上阵"
人工智能
亚川楼宇自控系统数据中心厂家1 小时前
机房 3D 可视化技术:从平面监控到立体化管理的升级
大数据·数据库·人工智能