本地加载hugging face模型:Bert

找了个hf的镜像站,把config.json和pytorch_model.bin两个文件进行下载下来,模型文件uncased_L-12_H-768_A-12.zip下载下来先。

解压模型文件压缩包,把前面下载的两个文件也放进去,总共6个文件。这个文件夹就是代码

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

BERT_PATH这里对应的文件路径。

Some weights of BertForSequenceClassification were not initialized from the model checkpoint at bert-base-uncased and are newly initialized: ['classifier.bias', 'classifier.weight']

pip install tensorflow

复制代码
from transformers import BertModel, BertTokenizer

model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name, from_tf=True)
相关推荐
IT_陈寒1 分钟前
JavaScript 开发者必知的 7 个 ES2023 新特性,第5个能让代码量减少50%
前端·人工智能·后端
winner88813 分钟前
从 “碗状函数” 到 “坑坑洼洼”:机器学习的凸与非凸之战
人工智能·机器学习
q_30238195565 分钟前
Atlas200赋能水稻病虫害精准识别:AI+边缘计算守护粮食安全
人工智能·边缘计算
芥末章宇6 分钟前
TimeGAN论文精读
论文阅读·人工智能·论文笔记
腾飞开源9 分钟前
40_Spring AI 干货笔记之 Transformers (ONNX) 嵌入
人工智能·huggingface·onnx·transformers·嵌入模型·spring ai·句子转换器
平凡之路无尽路10 分钟前
google11月agent发展白皮书
人工智能·语言模型·自然语言处理·nlp·aigc·ai编程·agi
腾飞开源11 分钟前
41_Spring AI 干货笔记之 OpenAI SDK 嵌入(官方支持)
人工智能·嵌入模型·spring ai·openai sdk·github models·示例控制器·无密码认证
说私域13 分钟前
从“搅局”到“重构”:开源AI智能名片多商户商城小程序对电商生态的范式转型研究
人工智能·重构·开源
艾莉丝努力练剑17 分钟前
【Python基础:语法第六课】Python文件操作安全指南:告别资源泄露与编码乱码
大数据·linux·运维·人工智能·python·安全·pycharm