TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
大佬,救命!!!32 分钟前
最新的python3.14版本下仿真环境配置深度学习机器学习相关
开发语言·人工智能·python·深度学习·机器学习·学习笔记·环境配置
工业机器视觉设计和实现37 分钟前
用caffe做个人脸识别
人工智能·深度学习·caffe
paperxie_xiexuo1 小时前
从研究问题到分析初稿:深度解析PaperXie AI科研工具中数据分析模块在学术写作场景下的辅助逻辑与技术实现路径
人工智能·数据挖掘·数据分析
一水鉴天1 小时前
整体设计 定稿 之9 拼语言工具设计之前 的 备忘录仪表盘(CodeBuddy)
人工智能·架构·公共逻辑
vvoennvv1 小时前
【Python TensorFlow】 CNN-GRU卷积神经网络-门控循环神经网络时序预测算法(附代码)
python·神经网络·机器学习·cnn·gru·tensorflow
IT_陈寒1 小时前
Python性能提升50%:这5个隐藏技巧让你的代码快如闪电⚡
前端·人工智能·后端
高洁012 小时前
具身智能-普通LLM智能体与具身智能:从语言理解到自主行动 (2)
深度学习·算法·aigc·transformer·知识图谱
AI大模型学徒2 小时前
NLP基础(九)_N-gram模型
人工智能·自然语言处理·nlp·n-gram
极客BIM工作室2 小时前
理清 BERT 中 [CLS] 向量的核心逻辑:训练双向更新与推理作用不矛盾
人工智能·机器学习·bert