TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
Niuguangshuo8 分钟前
# PyTorch 中 `nn.ModuleList` 详解
人工智能·pytorch·python
2501_9428189110 分钟前
AI 多模态全栈项目实战:Vue3 + Node 打造 TTS+ASR 全家桶!
vue.js·人工智能·node.js
CICI1314141314 分钟前
藦卡机器人:让焊接更洁净、更精准、更智能
大数据·人工智能
嵌入式老牛19 分钟前
面向能源领域的AI大模型工程化落地方法
人工智能·能源
天竺鼠不该去劝架26 分钟前
金融智能体三大核心场景:银行运营、证券研究、保险理赔效率提升路径
人工智能·科技·自动化
Small___ming28 分钟前
【人工智能基础】深度学习归一化层完全指南:从入门到精通
人工智能·深度学习·归一化
短视频矩阵源码定制37 分钟前
矩阵系统源头厂家
大数据·人工智能·矩阵
老赵聊算法、大模型备案38 分钟前
《人工智能拟人化互动服务管理暂行办法(征求意见稿)》深度解读:AI“拟人”时代迎来首个专项监管框架
人工智能·算法·安全·aigc
亚马逊云开发者1 小时前
使用 Kiro AI IDE 开发 Amazon CDK 部署架构:从模糊需求到三层堆栈的协作实战
人工智能
心无旁骛~1 小时前
ModelEngine Nexent 智能体从创建到部署全流程深度体验:自动化利器让 AI 开发效率拉满!
运维·人工智能·自动化